CogAgent-9B - 智谱AI开源 GLM-PC 的基座模型

CogAgent-9B是什么

CogAgent-9B 是在 GLM-4V-9B 基础上训练的 Agent 专用模型，输入只有屏幕截图，不需要 HTML 之类的文本表征。CogAgent-9B 能处理高分辨率图像，中英文双语交互，会预测并执行 GUI 操作，把任务自动跑完。在多个 GUI 操作数据集上成绩领先，模型已经开源，对大模型 Agent 生态是个推动。个人电脑、手机、车机这类 GUI 交互场景，CogAgent-9B 都用得上。

CogAgent-9B的主要功能

• GUI 理解和操作：CogAgent-9B 能看懂并操作图形用户界面（GUI），点击按钮、输入文本这类动作都能做。
• 屏幕截图输入：输入只有屏幕截图，不需要 HTML 之类的额外文本表征，所以换到不同设备上也能用。
• 高分辨率处理：支持最高 1120×1120 像素的图像输入，画面里的复杂信息也处理得来。
• 双语交互：中文、英文的截图和语言交互都支持，用在多语言环境里没什么障碍。
• 预测GUI操作：给定任务和历史操作，模型会推断下一步该点哪儿。
• 自动化任务执行：CogAgent-9B 能模拟用户操作，把一串 GUI 任务自动执行完。
• 跨平台应用：个人电脑、手机、车机这些靠 GUI 交互的场景都能用。
• 性能领先：多个 GUI 操作数据集上的成绩都排在前面。

CogAgent-9B的技术原理

• 视觉语言模型（VLM）：CogAgent-9B 建在视觉语言模型 GLM-4V-9B 之上，视觉数据（如屏幕截图）和文本信息都能处理，进而理解、操作 GUI 元素。
• 双流注意力机制：CogAgent-9B 用双流注意力机制，把按钮、图标这些视觉元素对应到各自的文本标签或描述上，猜用户想干什么、该执行什么操作，都更准一些。
• GUI Grounding预训练：预训练阶段，CogAgent-9B 引入 GUI Grounding，用屏幕截图和 layout 对，建立界面子区域与 layout 表征的对应关系，模型对视觉输入和 GUI 界面的基础理解因此更扎实。
• 数据集丰富与完善：CogAgent-9B 团队收集整合了多种数据集，既有无监督数据，也有 GUI 指令微调数据。数据够杂够多，训练和测试的底子就厚。
• 预训练与后训练策略优化：预训练阶段，CogAgent-9B 引入 GUI Referring Expression Generation (REG) 和 GUI Referring Expression Comprehension (REC) 两项任务，把界面子区域和布局表征对应起来。后训练阶段换了一套更讲究的 GUI agent 策略，模型的分析、推理和预测能力都更强。
• 模型推理及思维链优化：CogAgent-9B 把思维链拆成 Status（当前屏幕状态）、Plan（全局计划）、Action（下一步自然语言描述）、Operation（下一步形式语言描述）四段。训练时随机采样、混合多种模式的数据，推理过程中实际输出什么，可以灵活调整。
• 动作空间完善：CogAgent-9B 把基础动作空间做了明确划分，另外新增 LLM、QUOTE_TEXT、LAUNCH 等高级动作，模型调用工具、跟界面交互的能力更强。

CogAgent-9B的项目地址

• Github仓库：https://github.com/THUDM/CogAgent
• HuggingFace模型库：https://huggingface.co/THUDM/cogagent-9b-20241220

CogAgent-9B的应用场景

• 自动化测试：软件开发里，CogAgent-9B 可以拿来做自动化测试，模拟用户操作去点应用的 GUI，测试跑得更快，覆盖的面也更广。
• 智能助手：作为个人助理，CogAgent-9B 能自动完成日程管理、邮件处理这些日常任务。
• 客户服务：客服场景里，CogAgent-9B 能自动执行一些操作给客服打下手，客户的需求响应更快。
• 智能家居控制：CogAgent-9B 可以接进智能家居系统，通过 GUI 控制家里的各种智能设备。
• 智能座舱：汽车上，CogAgent-9B 可以用于智能座舱，通过 GUI 与车载信息娱乐系统交互，让驾驶更安全、更省事。