谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务

  • AI
  • 0
Mores的头像Mores
谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务

当地时间11月19日,谷歌宣布为 macOS 版 Gemini 应用推出“电脑操控”(Computer Use)功能,允许 AI 直接操作 Mac 桌面应用、访问本地文件并浏览网页,独立完成多步骤任务。该功能目前面向美国地区的英语用户逐步开放。

谷歌介绍,用户只需用自然语言描述任务,Gemini 便可在不同应用之间切换,执行点击、输入文字、填写表单和操作菜单等操作,任务在独立后台窗口中运行,不占用主屏幕和鼠标光标。

功能与运行方式

按照谷歌的说法,Gemini 在 macOS 上执行任务时并不占用用户当前的主屏幕,也不会移动鼠标光标,而是在一个独立的后台窗口中运行。聊天界面内会同步显示实时操作预览,用户可以随时查看 AI 的执行进度,并在需要时暂停或停止任务。对于其中的关键操作,Gemini 会要求用户事先确认,之后才继续执行。

这一设计把 AI 的操作过程放在可观察的范围内:用户既能了解它正在做什么,也保留了中途介入的入口。谷歌将这套能力概括为让 AI 独立完成多步骤任务,而不是只给出建议、由用户逐步手动落实。

从交互形式看,用户不需要学习新的指令语法,只需用自然语言描述目标,Gemini 便自行判断需要在哪些应用之间切换、执行哪些点击与输入动作。这也意味着任务的完成质量取决于模型对界面元素和任务意图的理解。

谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务

官方列举的应用场景

谷歌给出的示例覆盖了日常办公与个人事务的多个环节。其一是批量处理照片,让 AI 对多张图片连续执行同类操作;其二是从本地 PDF 文件中提取信息,再把提取结果填写进在线表单,这一流程涉及本地文件读取与网页端输入两类动作的衔接。

其三是根据实时数据制作演示文稿,即由 AI 收集数据并落到幻灯片成品上;其四是整理商品信息,并在二手交易平台上完成上架销售。后两个场景都要求跨应用、跨界面连续操作,单步点击无法完成。

这些例子共同指向同一类需求:任务由多个分散在不同应用中的步骤组成,人工执行耗时且重复。谷歌并未披露这些场景的实际成功率或测试数据,仅将其作为功能能力的说明。

谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务

权限与使用门槛

在权限管理上,谷歌表示用户可以自行选择允许 Gemini 访问的应用程序,而不是一次性向 AI 开放整台电脑的操作权限。这一设置把授权范围缩小到具体应用,用户可据此控制 AI 能触及的数据与界面。

使用该功能有明确的硬件与账号条件:需要搭载 Apple Silicon 芯片、运行 macOS Sequoia 15.0 或更新版本的 Mac;用户须年满 18 岁,并使用符合条件的个人 Google 账号,同时订阅 Google AI Plus、Pro 或 Ultra。

开放范围目前限于美国地区的英语用户,且为逐步开放,并非所有满足条件的用户都能立即使用。谷歌未说明后续向其他地区或语言扩展的时间安排。

谷歌为 macOS 版 Gemini 推出电脑操控功能,可跨应用执行多步任务

苹果同步收紧权限

谷歌发布该功能的时间,恰逢苹果调整 macOS 的应用权限管理机制。据苹果 11 月 16 日发布的开发者公告,macOS 27.3 Beta 2 已引入针对设备控制、数据访问和完全磁盘访问权限(Full Disk Access)的调整。

具体而言,新系统将原有的设备控制与数据访问设置拆分为不同的权限选项,允许用户指定某个应用可以控制的具体程序,或可以访问的文件夹;同时提供“每次请求权限时都需要用户确认”的选项。苹果还将增加透明度提示,当应用通过相关权限控制其他应用时,系统会在菜单栏显示提示标识。

苹果在公告中表示,授予应用完全磁盘访问权限可能使 Mac 上的各类数据面临风险,因此希望通过更细致的权限设置,让用户清楚了解应用能够访问和控制的内容。

据 The Verge 报道,苹果此次调整与 AI 智能体日益普及所带来的安全风险有关。不过报道同时指出,相关权限调整早于谷歌此次发布 Gemini 电脑操控功能,并非针对这款应用临时作出的回应。

安全背景与影响

两件事在时间上的接近,使外界将谷歌的新功能与苹果的权限收紧放在一起观察。一方让 AI 获得跨应用点击、输入和读取文件的能力,另一方则在系统层面把这类控制拆解为更细的授权项,并加入菜单栏提示与逐次确认机制。

对用户而言,实际体验将同时受两层规则约束:谷歌在应用内提供按应用授权的选择,苹果在系统层面提供按目标程序、按文件夹的授权以及确认选项。AI 能操作的范围,取决于这两层设置的交集。

目前可确认的信息是,该功能处于面向美国英语用户的逐步开放阶段,谷歌未公布更广泛的分发计划;苹果的相关权限调整则处于 macOS 27.3 Beta 2 的开发者测试阶段。两者后续如何落地,仍有待各自正式版本说明。

要点

  • 功能目前面向美国地区英语用户逐步开放
  • Gemini 在独立后台窗口执行任务,不占用鼠标光标
  • 用户可自行选择允许 Gemini 访问的应用
  • 需 Apple Silicon 芯片与 macOS Sequoia 15.0 及以上
  • 苹果 macOS 27.3 Beta 2 已调整设备控制与数据访问权限

原文链接

AI
分享

更多快讯

全部快讯
  1. ChatGPT 上线实时听写,取消 10 分⁠钟录音上限
  2. 谷歌发布 Gemini Decision 1,正面挑战 Jev 决策模型
  3. 四家非营利组织起诉五家 AI 巨头,要求冻结前沿模型能力
  4. 神秘模型 Gestalt 登顶设计榜单,得分1928分领先 Fable 5.2
  5. 谷歌开放 Genie4 世界模型 API,支持实时交互与原生音频

0 条回复

A文章作者M管理员
上传评论图片

暂无讨论,说说你的看法吧