WebWorld - 阿里Qwen团队开源的大规模网页世界模型系列

发布于 2026-05-09 · WebWorld 是阿里巴巴 Qwen 团队开源的大规模网页世界模型系列，基于 Qwen3 底座训练，包含 8B、14B、32B 三个版本。模型通过在模拟浏览器环境中预测网页状态转移，为 Web Agent 提供高质量的训练数据与推理环境，避免真实网页训练中的网络延迟、速率限制和安全风险。

WebWorld是什么

WebWorld 是阿里巴巴 Qwen 团队开源的大规模网页世界模型系列，底座是 Qwen3，有 8B、14B、32B 三个版本。它在模拟浏览器环境里预测网页状态怎么变，给 Web Agent 提供训练数据和推理环境，真实网页训练里那些网络延迟、速率限制、安全风险也就绕开了。状态表示支持 A11y Tree、HTML、XML、Markdown 和自然语言等多种格式，长时程模拟能连跑 30+ 步，显式链式思考推理也有。

WebWorld的主要功能

网页状态预测：给当前页面状态（A11y Tree/HTML/XML 等）和 Agent 的动作，它来预测下一刻完整的页面状态，跟真浏览器里的反应对得上。
长时程多轮模拟：连续交互能模拟 30 步以上，状态前后一致，多步骤的复杂网页任务正好用得上。
多格式状态表示：A11y Tree 是原生支持，HTML、XML、Markdown 和自然语言描述也能处理，模型的泛化能力更强。
推理能力激活：两阶段课程训练，先把大规模网页动态知识灌进去，再用少量 CoT 数据把显式因果推理激活。
跨领域泛化：代码环境、GUI 桌面、游戏场景里都表现出了不错的迁移能力。
轨迹数据合成：能当数据合成器用，给下游 Agent 批量生成高质量训练轨迹，真实任务上的表现跟着提升。

WebWorld的技术原理

自回归浏览器模拟器建模：WebWorld 把浏览器环境当成自回归序列生成任务，用因果语言模型学条件概率分布 $P_{θ} (s_{t + 1} ∣ I, h_{t})$ ，在给定任务指令 $I$ 和交互历史 $h_{t} = (s_{0}, a_{0}, \dots, s_{t}, a_{t})$ 的情况下，预测执行动作 $a_{t}$ 后的下一页面状态 $s_{t + 1}$ ，通过最大似然估计在完整轨迹数据上进行端到端训练。
三层层次化数据收集管道：封闭环境的数据量不够用，WebWorld 就搭了三层收集管道：第一层”随机爬取”，在预训练语料对应的网站上执行随机动作，拿到 43.3% 的广度数据；第二层”自主探索”，让 LLM Agent 自己定目标去逛网站，产出 20.4% 的真实长时程轨迹；第三层”任务导向执行”，基于种子任务合成各种变体再交给 Agent 跑，得到 16.1% 的高质量任务轨迹。三层加起来，超过 106 万条真实开放网页交互数据。
A11y Tree 主状态表示与多格式增强：主要状态表示用 Playwright 提取的 A11y Tree，这东西网页和 GUI 都能用，信息密度高，结构对 LLM 也友好；轨迹事后还能转成 HTML、XML、Markdown 等格式，再加上自然语言页面描述，凑成五维指令微调数据集，模型不会只认一种表示而过拟合，灾难性遗忘也防住了。
双层数据过滤与质量控制：数据清洗是双层机制，规则启发式加上 LLM 评分。先用脚本验网站能不能打开、过滤敏感关键词，原始 URL 只留下 15.7%；再让 LLM 从可访问性、内容适宜性、交互性、工程质量四个维度打分，低分站点剔掉。轨迹层面还会剪掉没有状态变化的无效转移，超过 30 轮或者 30K token 的超长样本直接丢弃，整个过程不掺特定模型的归纳偏置。
两阶段课程训练策略
训练按”先注入知识、后激活推理”的节奏走：第一阶段拿 106 万条轨迹做大规模动态建模，让模型把网页状态转移的规律吃透；第二阶段只用 1000 条合成的 CoT 样本微调，要求它预测之前先分析页面结构、用户意图和状态变化，隐式推理就这样外化成可解释的链式思考。
多维评估体系 WebWorld-Bench
为了衡量模拟质量，团队做了个含九个评估维度的内在基准。事实性评分让 LLM 逐点判断：预测的状态有没有正确反映动作带来的功能因果效应；Web Turing 评分走对抗式成对比较，看模拟状态和真实网页能不能分得出来。一个管客观正确性，一个管主观真实感，世界模型的能力就从这两个层面量化。

如何使用WebWorld

环境准备：克隆仓库后执行 pip install -r requirements.txt 并解压数据包。
模型加载：通过 HuggingFace 加载模型（如 Qwen/WebWorld-8B），使用 AutoModelForCausalLM 配合 trust_remote_code=True 初始化。
单步预测：构造包含系统提示（声明为网页世界模型）和用户消息（初始页面状态 + 动作）的对话，调用 model.generate 预测下一页面状态。
多轮模拟：首轮提供初始状态和第一个动作；后续每轮使用固定续写提示 CONTINUE_PROMPT，将上一轮预测状态作为历史，传入新动作继续生成，可循环至 30+ 轮。
Agent 训练：用 WebWorld 合成轨迹，Abstract-and-Instantiate 策略负责把任务变出各种花样，拿这些轨迹微调基础模型，下游 Agent benchmark 的成绩能往上走。
基准评测：内在评估用 WebWorld-Bench，外在的可以走 MiniWob++、WebArena 这些 benchmark，看 Agent 训练到底有没有效果。

WebWorld的核心优势

规模领先：训练用了 100 万+ 真实开放网页轨迹，数据量是此前工作的 100 倍，电商、社交、新闻这些领域都覆盖到了。
开源开放：模型权重和训练数据（WebWorldData）都按 Apache 2.0 协议开源，技术路线完整，能复现。
评测体系完善：自研的 WebWorld-Bench 内在基准，事实性（Factuality）和图灵测试（Web Turing）两个大维度下面再分九个细分维度，模拟质量评得比较全。
训练效率突出：1000 条 CoT 样本就能把强推理能力激活，大规模动态预训练在激活推理这件事上效率确实高。
Agent 训练增益显著：Qwen3-8B 用 WebWorld 的合成数据微调之后，WebArena 上提升 10.9%，14B 版本已经接近 GPT-4o 的水平。

WebWorld的项目地址

GitHub仓库：https://github.com/QwenLM/WebWorld
HuggingFace模型库：https://huggingface.co/datasets/Qwen/WebWorldData
arXiv技术论文：https://arxiv.org/pdf/2602.14721

WebWorld的同类竞品对比

对比维度	WebWorld	WebEvolver	UI-Simulator
开发团队	阿里巴巴 Qwen Team	Fang et al.	Wang et al.
技术路线	大规模开放网页预训练 + 两阶段课程微调	协同进化（世界模型与 Agent 交替微调）	检索增强模拟（RAG + 提示专有 LLM）
环境范围	真实开放网页（百万级域名）	封闭 benchmark 环境	封闭/受控环境
数据规模	106 万+ 真实轨迹	依赖 Agent 回传数据，规模受限	无自有训练数据，实时调用 API 生成
模型形态	开源专用世界模型（8B/14B/32B）	训练专用世界模型	提示通用 LLM 作为世界模型
长时程模拟	支持 30+ 步一致模拟	有限	有限
显式推理	CoT 激活，可解释状态转移	无显式推理	依赖基础模型的隐式推理
开源情况	Apache 2.0（模型+数据）	未开源	非开源（依赖专有 API）
核心差异	以开放网页为根基，数据驱动规模化	靠智能体与环境互相迭代来优化，环境受限	以检索增强定向合成，成本受 API 限制