VPP - 清华和星动纪元推出的首个AIGC机器人大模型

VPP是什么

VPP（Video Prediction Policy）是清华大学和星动纪元推出的首个AIGC机器人大模型。它以预训练的视频扩散模型为基础，学的是互联网上的大量视频数据，靠直接预测未来场景来生成机器人动作。VPP能提前预知未来，高频预测和动作执行都跟得上，人形机器人本体之间还能切换，对高质量机器人真机数据的依赖明显下降。Calvin ABC-D基准测试里，VPP的成绩接近满分；真实世界的复杂灵巧操作任务，它也完成得不错。VPP开源后，具身智能机器人的发展多了一层技术支撑。

VPP的主要功能

• 提前预测未来场景：让机器人在行动前先“看到”未来，泛化能力跟着增强。
• 高频预测与动作执行：预测频率做到6-10Hz，控制频率超过50Hz，动作的流畅性因此提升。
• 跨机器人本体学习：不同形态机器人的视频数据可以直接学，人类操作数据也算在内，数据获取成本降了下来。
• 多任务学习与泛化：复杂的真实世界任务里表现不错，抓取、放置、堆叠、倒水、工具使用都在列。
• 可解释性与调试优化：靠预测视频提前发现失败场景，开发者能做针对性优化。

VPP的技术原理

• 视频扩散模型（VDM）的预测性视觉表示：预测未来场景用的是预训练的视频扩散模型，Stable Video Diffusion就是一例。这类模型以单步去噪生成预测性视觉表示，表示里包含当前帧，也能明确表示未来帧。
• 动作学习：预测性视觉表示由Video Former聚合，时空信息从中提取。机器人动作用扩散策略（Diffusion Policy）生成，从预测到执行衔接得很顺。
• 优化与泛化：训练数据来自互联网视频和机器人操作数据，对高质量真机数据的依赖因此减少。跨本体学习让VPP直接学不同形态机器人的视频数据，模型的泛化能力提上去。

VPP的项目地址

• 项目官网：https://video-prediction-policy.github.io/
• GitHub仓库：https://github.com/roboterax/video-prediction-policy
• arXiv技术论文：https://arxiv.org/pdf/2412.14803

VPP的应用场景

• 家庭服务：家务活能干（倒水、拿东西），照顾老人或儿童时的物品递送也接。
• 工业制造：零件抓取、货物搬运和堆叠都能用，生产效率有提升。
• 医疗辅助：手术器械传递、康复训练、病房物品递送都能协助。
• 教育与研究：帮助学生理解复杂的操作流程，实验室的实验操作也用得上。
• 服务行业：餐厅送餐、酒店行李搬运、公共场合导览都在场景之内。