Qwen-VLA - 阿里通义推出的通用视觉-语言-动作模型

Qwen-VLA是什么

Qwen-VLA 是通义实验室的通用视觉-语言-动作模型，主干是 Qwen3.5-4B，后面接一个 1.15B 参数的 DiT 动作解码器。它用统一的动作轨迹预测框架，把操作、导航、轨迹预测三类任务放进同一个模型；本体差异则通过本体感知提示条件化来处理，改改文本描述就能适配 11 种机器人平台。在多项基准上它超过了专用模型，零样本动态操作成功率达到 26.6%。

Qwen-VLA的主要功能

• 跨任务统一控制：一个模型同时处理操作、导航、轨迹预测三类任务，不用再为每类任务单独建模型。
• 跨本体即插即用：支持 WidowX、Franka Panda、Mobile ALOHA、Galaxea R1 等 11 种机器人平台，单臂、双臂、移动底座都在内，换个平台只需改文本提示。
• 零样本开放世界泛化：颜色、实例、位置、背景、指令这五个分布外维度上，它都没见过，成功率依然不低，也不用为新环境重新训练。
• 动态物体操作：没有动态训练数据也能零样本操作运动中的物体，DOMINO 基准成功率 26.6%，高于专用微调模型。
• 长时程导航：靠任务自适应的 token 分配，长指令能保留更完整的 episode 历史。VLN-CE 基准上 R2R 57.5%、RxR 59.6%，超过专用导航模型。

Qwen-VLA的技术原理

• 统一动作轨迹预测框架：传统做法把操作、导航、轨迹预测拆成独立模型，跨任务迁移很难。Qwen-VLA 发现三者的计算结构其实同构——都是”观察场景 + 理解指令 → 预测未来动作序列”，于是统一建模。Qwen3.5-4B 视觉语言主干和 1.15B DiT 动作解码器拼在一起，不同任务的数据在同一轮训练里共同监督，视觉定位和空间推理能力也跟着跨任务迁移。
• 本体感知提示条件化：机器人硬件不一样，传统方案是给每种本体做一条独立分支。Qwen-VLA 换了个思路：把硬件差异写成结构化文本提示，作为唯一的平台接口，里面包含型号、臂数、关节配置、控制频率等信息，交给 VLM 处理。骨干网络的隐藏状态和噪声动作块拼接后送进 DiT 解码器，推理时只要换掉提示就能换平台。
• 文本到动作 DiT 预训练（T2A）：VLM 已经预训练过，DiT 却要从零开始，这是训练时的第一个矛盾。做法是先冻结 VLM，单独训练 DiT，而且只给文本、不给图像，让 DiT 先学会动作分布、文本和动作的对齐、本体条件化。这一阶段的计算代价只有多模态训练的 1/10。消融实验的结果是：20%合成加 80%真实数据效果最好（71.1%），不给图像反而比给图像好，2,000 步时达到峰值。

如何使用Qwen-VLA

• 环境准备：从 GitHub 克隆官方仓库，装好依赖，再下载预训练权重。
• 模型推理：按机器人硬件配置生成本体提示，把图像、指令和提示一起喂给模型，拿到动作序列后发给机器人执行，如此循环就是闭环控制。
• 模型训练（进阶）：训练按 T2A → CPT → SFT → RL 四个阶段走，动作生成、视觉感知、任务适配，以及把执行结果反馈回来再改模型的能力逐步往上提。
• 跨平台部署：换机器人时只改提示里的硬件描述字段；新本体要适配，采集数据后在 SFT 阶段微调就行。

Qwen-VLA的核心优势

• 通用性超越专用性：5 个仿真基准里有 3 个，这个通用模型超过了最佳专用模型。
• 轻量跨本体适配：改文本提示就行，不用给每种机器人重新训一遍。
• 高效预训练策略：T2A 阶段的计算成本只有多模态训练的 1/10，也不会破坏 VLM 已经学到的预训练成果。
• 强 OOD 泛化能力：真实世界平均 OOD 成功率 76.9%，比 π₀.₅ 高 35.4pp，比无预训练变体高 40.7pp。
• 动态场景零样本突破：DOMINO 基准上零样本 26.6%，专用微调模型 PUMA 是 17.2%。

Qwen-VLA的项目地址

• 项目官网：https://qwen.ai/blog?id=qwenvla
• GitHub仓库：https://github.com/QwenLM/Qwen-VLA
• arXiv技术论文：https://arxiv.org/pdf/2605.30280

Qwen-VLA的同类竞品对比

维度	Qwen-VLA	π₀.₅ (Physical Intelligence)
架构底座	Qwen3.5-4B VLM + 1.15B DiT 解码器	基于流匹配的 VLA 架构
任务统一性	操作+导航+轨迹预测三任务统一	专注操作任务
跨本体方式	文本提示条件化，无需改架构	需针对不同本体微调或适配
支持平台数	11 种（WidowX、ALOHA、Franka 等）	主要支持少量主流平台
预训练策略	T2A 无视觉预训练（计算成本 1/10）	端到端多模态联合训练
动态操作	零样本 26.6%（DOMINO）	零样本 7.5%
OOD 泛化	真实世界平均 76.9%	41.5%
导航能力	VLN-CE R2R 57.5%，超越专用导航模型	不支持
开源程度	论文+代码+权重全开源	部分开源
训练效率	T2A 阶段计算成本为多模态 1/10	标准多模态训练成本

Qwen-VLA的应用场景

• 多任务工业机器人：同一条装配线上，抓取、搬运、导航到不同工位都由一个模型完成，不用一个任务部署一套模型。
• 服务机器人跨场景部署：家用机器人在厨房做操作、去客厅自己导航、在走廊规划轨迹，任务类型可以随时切。
• 科研教育平台：研究人员不用为每种机器人重训模型，改一下文本提示，就能在新硬件上验证算法。
• 动态环境操作：物流仓储里抓传送带上的运动包裹，不用为动态场景重新采集训练数据。
• 长时程复杂指令跟随：博物馆导览机器人接到”先去A展厅拍照，绕过人群去B展厅”这类多步骤长指令，也能照着做。