Magentic-UI - 微软开源的人机协作AI Agent研究原型

Magentic-UI是什么

Magentic-UI 是微软开源的一个研究原型，专门研究人怎么参与到 AI Agent 的工作里。它把自己放在以人为中心的位置：浏览网页、跑代码、处理文件这些 Web 任务，用户可以跟它一起做。四个核心能力是协作规划（co-planning）、协作执行（co-tasking）、安全机制（action guards）和从经验中学习（plan learning）。规划、执行两个环节用户都能实时插手，交互过程透明，也随时能停。另一方面它拿人的反馈来提升任务完成效率、压人工成本，本身也是研究人机协作的实验平台。

Magentic-UI的主要功能

• 协作规划：动手之前先出分步计划，用户看一眼，能改也能批，确认按这个来再跑。
• 协作执行：下一步要做什么会实时摊在界面上，用户觉得不对随时接管。
• 安全机制：关键操作或者不可逆的操作，动手前先问用户；审批策略可以自己定。
• 学习复用：跑完的计划会存下来，下次遇到类似的活可以直接复用，或者改改再用。

Magentic-UI的技术原理

• 系统架构：底座是 AutoGen 的 Magentic-One，几个专业代理（agents）分工协作。Orchestrator（协调者）由大型语言模型（LLM）驱动，负责跟用户一起做规划，判断什么时候该问反馈，把子任务派给别的 Agent。WebSurfer（网页浏览者）是有浏览器控制能力的 LLM Agent，点击、输入、滚动这些操作由它执行，完成 Orchestrator 派下来的网页浏览任务。Coder（代码执行者）的 LLM Agent 带 Docker 代码执行容器，结果回传给 Orchestrator。FileSurfer（文件处理者）的 LLM 代理配了 Docker 容器和文件转换工具，能定位文件、转成 Markdown，再回答跟文件有关的问题。
• 交互流程：用户发文本消息，也能附图，就这么跟它交互。Orchestrator 先把输入变成自然语言的分步计划，用户在编辑界面里改。之后每一步归哪个 Agent、哪一步归用户，由 Orchestrator 分派，发请求、等响应。所有步骤走完，它把最终答案整理出来给用户。中间要是发现计划撑不住，跟用户确认之后重新规划，按新计划执行。
• 安全与控制：可访问的网站是个白名单，用户自己设，名单外的站点得明确批准才能进。任务跑到哪个阶段用户都能叫停，待执行的代码和网页操作一并中止。它控制的浏览器和代码执行器都跑在 Docker 容器里，碰不到主机环境，登录凭证泄露这类风险也就小一些。哪些操作要审批，用户可以自己配策略。

Magentic-UI的项目地址

• 项目官网：https://www.microsoft.com/en-us/research/blog/magentic-ui
• GitHub仓库：https://github.com/microsoft/magentic-ui

Magentic-UI的应用场景

• 复杂任务自动化：多步骤的 Web 任务可以交给它，比价格、填表单、订行程都算。
• 代码编写与执行辅助：写代码片段、跑代码都在沙箱里，数据分析、写脚本这类活合适。
• 文件处理与信息检索：转文件格式，或者翻文件内容找答案。
• 研究与开发：给研究人员一个实验平台，人机怎么配合可以在这里试。
• 教育与培训：也能当教学工具，用来讲任务规划、讲怎么跟 AI 配合。