OmniParser - 微软推出的屏幕解析工具，将UI截图转换为结构化数据

OmniParser是什么

OmniParser 是微软研究院推出的屏幕解析工具，把界面截图转换成结构化数据。它专门用来提升基于大型语言模型（如 GPT-4V）的 UI 代理系统：准确识别可交互图标、理解截图元素的语义，代理执行任务的能力随之增强。OmniParser 用微调过的模型提取屏幕中的交互区域和元素功能语义，在多个基准测试中提高了操作精确度和代理性能，而且不需要 HTML 或视图层次结构这类额外信息。OmniParser 可以搭配多种前沿 LLM 使用：OpenAI (4o/o1/o3-mini)、DeepSeek R1、Qwen 2.5-VL和 Anthropic (Sonnet)。

OmniParser的主要功能

• 解析UI截图：把用户界面的屏幕截图解析成结构化元素，包括可交互图标和文本。
• 识别可交互区域：用专门的检测模型识别并标记 UI 中的可交互区域，比如按钮和图标。
• 提取功能语义：用描述模型提取检测到的元素的功能语义，生成与用户任务相关的描述。
• 增强代理性能：结合解析结果，提升基于大型语言模型（如 GPT-4V）的 UI 代理执行任务时的性能和准确性。
• 跨平台应用：支持 Windows、MacOS、iOS、Android 等多种操作系统，以及各类 Web 浏览器和桌面应用。
• 无需额外信息：不依赖 HTML 或视图层次结构等额外信息，直接从视觉截图里提取必要数据。

OmniParser的技术原理

• 数据集构建：从流行网页和应用中提取数据，构建可交互图标检测数据集和图标描述数据集。
• 模型微调：
  • 检测模型：用 YOLOv8 模型在可交互图标检测数据集上微调，识别并定位 UI 中的可交互区域。
  • 描述模型：用 BLIP-v2 模型在图标描述数据集上微调，生成图标的功能描述。
• OCR模块：集成光学字符识别（OCR）模块提取屏幕文本，与图标检测结果合并，去掉高重叠的边界框。
• 结构化表示：把检测到的元素和生成的描述整合成结构化的 DOM（文档对象模型）表示，并在潜在可交互元素上叠加带边界框的截图。
• 行动预测：结合结构化元素和功能语义，减轻大型语言模型做行动预测时的负担，让预测的行动更准确地落到屏幕上的实际操作。

OmniParser的项目地址

• 项目官网：https://www.microsoft.com/en-us/research/articles/omniparser
• GitHub仓库：https://github.com/microsoft/OmniParser/
• HuggingFace模型库：
  • https://huggingface.co/microsoft/OmniParser
  • https://huggingface.co/microsoft/OmniParser-v2.0
• arXiv技术论文：https://arxiv.org/pdf/2408.00203

OmniParser的应用场景

• 自动化软件测试：开发过程中自动识别和操作 UI 元素、执行测试脚本，测试效率和覆盖率都会提高。
• 虚拟助手：可以作为虚拟助手的一环，帮助理解屏幕内容，执行预订、查询、数据输入等任务。
• 辅助技术：对视力障碍人士，OmniParser 能解析屏幕内容并转成语音输出，当屏幕阅读工具用。
• 用户界面设计验证：设计师可以借此验证 UI 里的可交互元素，功能和语义是否符合预期。
• 跨平台应用开发：开发者在不同操作系统和设备上测试、优化应用 UI，保证体验一致。