实测 browser-use – 让大模型像真人一样自主操控浏览器的开源 Agent 框架

发布于 2026-11-03 · 传统网页自动化脚本脆弱且难以应对动态页面。开源项目 browser-use 将多模态大模型与 Playwright 自动化引擎深度结合，使 AI Agent 能够像真人一样理解网页视觉与 DOM 结构，通过自然语言指令自主完成多步导航、表单填写、数据提取与动态异常处理，大幅降低了网页自动化与智能爬虫的开发门槛。

在传统自动化测试与网络爬虫开发中，工程师们最常面对的梦魇就是“脆弱的选择器”：前端页面一旦改动 class、调整 DOM 层次结构，或者遇到复杂的验证码与反爬风控，维护良好的自动化脚本就会立刻崩溃。开发者往往需要耗费大量时间反复调试 XPath 和 CSS 选择器。

随着多模态大语言模型（Multimodal LLMs）推理与视觉识别能力的爆发，AI 驱动的计算机使用（Computer Use）与网页自主交互正在迅速成为现实。在这一领域，GitHub 上爆火的开源框架 browser-use 凭借直观的设计和强大的泛化能力脱颖而出，为开发者提供了一套开箱即用的“AI 驱动浏览器自动化”解决方案。

项目定位：让大模型直接接管浏览器

browser-use 是一个基于 Python 构建的开源代理框架。它的核心目标是：让大语言模型能够像人类用户一样，通过视觉观察和键盘鼠标动作来操控浏览器。开发者不再需要编写细致到每一个按钮点击的繁琐脚本，只需提供一句自然语言提示词（Prompt），框架就能驱动大模型自主规划步骤、解析页面并完成端到端任务。

browser-use：融合视觉识别与 DOM 感知的新一代 Web Agent

该项目目前在 GitHub 获得了开发者社区的广泛关注与极高星标增长。与传统的纯无头浏览器驱动不同，browser-use 具备以下几个突出亮点：

多模态视觉与 DOM 双重感知：Agent 不仅提取页面的交互式 DOM 元素树，还会结合屏幕截图给可点击元素自动打上高亮标记编号（Set-of-Mark 机制），让多模态模型即便面对 Canvas、复杂嵌套组件或未标准命名的按钮也能精准定位。
模型生态无关（LLM Agnostic）：无缝支持 OpenAI（GPT-6）、Anthropic（Claude 5.5 Sonnet）、Google Gemini 以及各类兼容 OpenAI 接口的开源本地模型（如通过 Ollama 驱动的 Qwen 与 DeepSeek 系列）。
底层基于 Playwright 打造：具备极高稳定性，支持真实浏览器会话持久化、Cookies 复用、代理配置以及多标签页并行切换。
内置交互容错与自我修正：在执行过程中若遭遇网络卡顿、弹窗遮挡或跳转异常，Agent 能够在观察到页面反馈后自主分析原因并尝试替代路径，而非直接抛错中断。
生态周边丰富：官方与社区还配套提供了基于 Gradio 的 browser-use/web-ui 可视化操作界面，支持普通用户无需写代码即可直接在 Web 界面下达任务并实时查看 Agent 的点击操作录屏。

项目地址：https://github.com/browser-use/browser-use

工作机制：感知 - 思考 - 执行循环

browser-use 的底层闭环遵循了经典的 Agentic 循环：

1. 页面快照与特征提取：Playwright 加载目标网页后，系统快速过滤出可交互元素（按钮、输入框、链接等），并在页面截图中为它们标注唯一序号。
2. 模型推理决策：多模态大模型同时接收标注后的截图与精简 DOM 树，结合历史操作记忆，决策下一步的最优动作（例如：click_element(index=14) 或 input_text(index=3, text="北京到东京机票")）。
3. 动作分发与状态校验：控制器调度浏览器执行动作后，监听网络与 DOM 变化，捕获最新的页面状态并判断任务是否已经达成，循环直至最终目标完成。

极简上手代码示例

使用 browser-use 开发一个自主搜索任务只需极少量的 Python 代码：

pip install browser-use
playwright install

import asyncio
from langchain_openai import ChatOpenAI
from browser_use import Agent

async def main():
    agent = Agent(
        task="访问 GitHub 搜索 browser-use，获取当前仓库的 Star 数并简述其简介",
        llm=ChatOpenAI(model="gpt-4o"),
    )
    result = await agent.run()
    print("执行结果:", result)

if __name__ == "__main__":
    asyncio.run(main())