Gemini 2.5 Computer Use - 谷歌推出的计算机使用模型

Gemini 2.5 Computer Use是什么

Gemini 2.5 Computer Use 是谷歌 DeepMind 推出的基于 Gemini 2.5 的计算机使用模型，AI 可以直接操作浏览器，点击、滚动、输入这些动作自己做。从网页里取信息、整理笔记这类任务，靠视觉理解和推理就能完成。基准测试表现好，速度也快。开发者能通过 Google AI Studio 和 Vertex AI 调用，用户也能在 Browserbase 托管的演示环境里试用。

Gemini 2.5 Computer Use的主要功能

• 浏览器操作：点击、滚动、输入这些基本操作直接在浏览器里做，网页任务不用人一直盯着。
• 任务自动化：多步的复杂任务也接得住，比如从一个网站取信息再填进另一个系统，或者把后续预约安排好。
• 视觉理解和推理：网页内容靠视觉解析读出来，页面元素识别清楚，再按用户请求推理出下一步该做什么。
• 安全机制：每个动作执行前，独立的安全服务会先评估风险，高风险操作要用户确认才继续。

Gemini 2.5 Computer Use的技术原理

• 核心工具：通过 Gemini API 中新增的 computer_use 工具实现，模型可以直接和用户界面交互。
• 输入与输出：
  • 输入：用户请求、当前环境的截图、最近执行动作的历史记录。可以指定排除某些 UI 动作，也能加自定义函数。
  • 输出：模型给出响应，一般是代表 UI 动作的函数调用，点击、输入、滚动都在内。碰到高风险操作，会先向用户要确认。
• 循环流程：模型按循环跑。每执行一次动作，系统把最新截图和当前 URL 回传给模型，循环接着起。到任务完成、出错，或者被安全机制和用户叫停，循环才结束。
• 安全机制：推理阶段由独立安全服务逐个评估模型打算执行的动作。开发者可以设定某些高风险操作必须先拒绝或请用户确认，比如不允许模型绕过验证码，也不让它控制医疗设备。

Gemini 2.5 Computer Use的项目地址

• 项目官网：https://blog.google/technology/google-deepmind/gemini-computer-use-model/
• 技术论文：https://storage.googleapis.com/deepmind-media/Model-Cards/Gemini-2-5-Computer-Use-Model-Card.pdf

Gemini 2.5 Computer Use的应用场景

• UI 测试：界面测试可以自动化跑，各种交互动作交给模型执行，开发节奏快不少。
• 个人助理：填表单、安排预约、整理信息这类日常事务可以自动化，相当于一个个人助理。
• 工作流自动化：数据录入、信息收集、跨平台操作这些重复活被简化下来，工作效率提上去。
• 客户服务：客户请求能自动处理，在客服系统里填工单、查信息，响应速度快了。
• 教育与培训：在线学习平台可以拿它做辅助，学生练习和模拟操作有人带着走，学习体验更完整。