RoboBrain - 智源研究院开源的具身大脑模型

RoboBrain是什么

RoboBrain是智源研究院推出的开源具身大脑模型，目标是把单机智能往群体智能那边推。它由三个模块组成：负责任务规划的基座模型、负责可操作区域感知的A-LoRA模块，以及负责轨迹预测的T-LoRA模块。训练用了多阶段策略，模型能记住较长的历史帧，也能看清高分辨率图像，抽象指令到了它这里会落成具体动作。任务规划、可操作区域感知、轨迹预测这几项评测里，成绩都不错。

RoboBrain的主要功能

• 规划能力（Planning Capability）：复杂的操作指令会被拆成一个个能执行的子任务。比如“提起茶壶并将水倒入杯中”，到它这里就成了“靠近茶壶并提起”“移动茶壶使壶嘴对准杯口”“倾斜茶壶倒水”几步。
• 可操作性感知（Affordance Perception）：要交互的物体哪里能下手，它得看得出来，比如茶壶的把手或壶嘴。
• 轨迹预测（Trajectory Prediction）：整条动作轨迹先算出来，比如从当前位置怎么走到茶壶把手。

RoboBrain的技术原理

• 模型架构：RoboBrain架在LLaVA框架上，主要由三个模块组成：
  • 视觉编码器（Visual Encoder）：图像进来先过SigLIP，编成视觉特征。
  • 投影器（Projector）：两层MLP把视觉特征映到和文本嵌入同一个维度上。
  • 大语言模型（LLM）：文本这边用Qwen2.5-7B-Instruct，负责理解指令、生成指令。
• 多阶段训练策略：训练分几个阶段走，为的是把机器人操作任务上的表现拉起来：
  • 通用视觉训练（OneVision Training）：先在大规模通用视觉数据集上预训练，把视觉和语言的基础理解打底。
  • 机器人任务训练：再拿ShareRobot数据集微调，任务规划、可操作区域感知和轨迹预测都在这时候加强。
• 数据集支持：训练靠的是ShareRobot数据集。这是一份高质量的异构数据，任务规划、物体可操作区域、末端执行器轨迹都有多维度标注。数据在设计时就考虑了多样性和准确性，复杂任务上的表现跟这份底子分不开。
• 推理过程：实际跑起来是这么个顺序：先看视觉输入，把指令拆成若干可执行子任务，再做可操作区域感知和轨迹预测。一步一步来，抽象指令转成具体操作就不容易乱。

RoboBrain的项目地址

• 项目官网：https://superrobobrain.github.io/
• Github仓库：https://github.com/FlagOpen/RoboBrain
• HuggingFace模型库：https://huggingface.co/BAAI/RoboBrain
• arXiv技术论文：https://arxiv.org/pdf/2502.21257

RoboBrain的应用场景

• 多机器人协作：在跨本体具身大小脑协作框架RoboOS里，RoboBrain是核心大脑模型，不同类型的机器人要配合干活，靠的就是它。
• 复杂任务规划：复杂指令到它手里会拆成可管理的子任务。比如“Water plants”（浇花）、“Put the pot in the drawer”（将花盆放入抽屉）、“Cluster blocks of the same color into different corners”（将同色积木聚集到不同角落），每一步怎么走都能列出来。
• 可操作区域感知：物体哪里能操作，它能识别也能解释。比如“Cluster blocks of the same color into different corners”这个任务里，不同颜色积木的可操作区域分别在哪，它看得清，路径也排得合理。
• 实时反馈与优化：搭上RoboOS的端云协作，执行反馈能实时收进来，环境一变策略跟着调，任务规划越跑越顺，鲁棒性也上来了。