Project Mariner - 谷歌推出的浏览网站智能体,能帮用户操作表格、在线购物

发布于 2024-12-12 · Project Mariner 是谷歌 DeepMind 推出的浏览器助手。Project Mariner基于 Gemini 2.0 技术,用 Chrome 扩展程序实现浏览器自动化,理解和执行网页任务。Project Mariner能理解和推理浏览器屏幕上的信息,包括像素和网页元素,基于 Chrome 扩展程序使用这些信息完成任务。Project Mariner 能控制 Chrome 浏览器、移动屏幕上的光标、点击按钮和填写表格,像人类一样使用和浏览网站。

Project Mariner是什么

Project Mariner 是谷歌 DeepMind 推出的浏览器助手,它基于 Gemini 2.0 技术,用 Chrome 扩展程序实现浏览器自动化,能看懂网页上的内容并替你操作。它既能读像素,也能读网页元素,靠这些信息完成任务:控制 Chrome、挪动光标、点按钮、填表格,和人上网的路数差不多。在 WebVoyager 基准测试上拿到 83.5% 的成绩。眼下它只能在当前活动标签页里打字、滚动、点击,碰到买东西这类敏感操作,会先停下来让你确认。

Project Mariner

Project Mariner的主要功能

  • 多模态理解:屏幕上的内容它都看得懂,像素、文本、代码、图片、表单都在内。
  • 浏览器交互:能实时导航和操作复杂网站,自动跑完浏览器里的任务,控制权还留在用户手上。
  • 自动化任务:自动在浏览器里操作,把数据整理好填到网页其他区域,也按你的要求归置好。
  • 复杂指令处理:把复杂指令拆成可执行的步骤,再一步步做完。
  • 关系理解:能看懂网页元素之间的关系,知道各自是干什么的。
  • 视觉反馈:任务执行过程中给出视觉反馈,进度看得见。
  • 安全性:购物、付款这类敏感操作之前会要求最终确认,先把安全兜住。

如何使用Project Mariner

目前还在早期测试,只对少数测试者开放。想用的话,去官方网站,加入等候名单。

Project Mariner的应用场景

  • 数据整理与复制:把网页上的数据搬到表格里整理。比如某个页面存着一大堆数据,提取出来放进 Excel 之类的表格软件。
  • 在线购物:按你给的购物清单,在电商网站上搜商品、加购物车。
  • 旅行规划:查航班和酒店,把旅行规划里那些翻网页、比信息的事交给它。
  • 日常购物:在零售网站上帮你买东西,搜索、下单家庭用品都行。
  • 食谱查找:按你的口味在食谱网站上搜,自动挑出合适的菜谱。
0

相关文章

0 条评论

后参与评论

暂无评论,来抢沙发。