EnerVerse - 智元机器人推出的首个机器人4D世界模型

EnerVerse是什么

EnerVerse 是智元机器人团队开发的机器人4D世界模型，按团队的说法是首个。思路是先让模型生成未来的具身空间，再拿这个指导机器人完成复杂任务。架构上是自回归扩散模型，配了稀疏记忆机制（Sparse Memory）和自由锚定视角（Free Anchor View, FAV），4D 生成和动作规划都靠这两块撑着。实验结果显示，它在机器人动作规划任务上达到了当前最优水平。项目主页和论文已经上线，模型与数据集即将开源。

EnerVerse的主要功能

• 未来空间生成：自回归扩散模型生成未来的具身空间，机器人再结合任务指引和实时观测，规划下一步动作。
• 高效动作规划：生成网络下游挂了一个多层Transformer组成的Diffusion策略头，逆扩散的第一步就能吐出未来动作序列，动作预测因此是实时的。

EnerVerse的技术原理

• 自回归扩散模型
  • 逐块生成：模型是逐块生成的自回归扩散（chunk-wise autoregressive diffusion），用扩散模型给未来的具身空间建模。每个时刻的空间信息一块一块生成，机器人执行复杂任务时就不只看眼前那点局部信息，多个时刻的环境数据能一起用上。
  • 扩散模型架构：骨干是带时空注意力的UNet。每个空间块内部用卷积加双向注意力建模，块与块之间走单向因果，时间上的连贯性就靠这个。
• 稀疏记忆机制（Sparse Memory）
  • 记忆管理：思路借的是大语言模型的上下文记忆。训练时对历史帧做高比例随机掩码，推理时隔较长时间才更新一次记忆队列。算力开销因此降下来，长程任务的生成能力也跟着上去了。
• 自由锚定视角（Free Anchor View, FAV）
  • 视角灵活性：视角可以随场景调，固定多视角在狭窄、遮挡环境里不好使的问题就绕开了。像厨房这种地方，遮挡物一直在动，FAV也能跟上。
  • 空间一致性：按光线投射的原理，用视线方向图当视角控制条件，再把2D空间注意力扩成跨视角的3D空间注意力，生成视频的几何一致性有了保障。
• Diffusion策略头
  • 高效动作预测：生成网络下游接一个多层Transformer组成的Diffusion策略头，逆扩散第一步就输出未来动作序列，实时性靠这个兜住。
  • 稀疏记忆支持：动作预测推理时，稀疏记忆队列里存着真实或重建的FAV观测，长程任务的规划能力就靠它提上来。

EnerVerse的项目地址

• 项目官网：https://sites.google.com/view/enerverse/home
• arXiv技术论文：https://arxiv.org/pdf/2501.01895

EnerVerse应用场景

• 环境感知与决策：自动驾驶里，生成未来空间可以帮车辆判断周围环境，辅助决策。
• 机器人操作与装配：工业产线上的复杂装配，机器人可以照着它规划着做。未来空间一生成，零件之间的空间关系、先装哪个后装哪个都清楚了，效率和精度都好一些。
• 质量检测与维护：工业设备的质检和维护也能用。机器人借助生成的未来空间，把设备看得更全，潜在故障能早点发现。
• 家庭服务：家里的服务机器人也用得上。收拾房间、搬东西这类活，它可以先预测东西该放哪、路怎么走，再动手。
• 医疗辅助：医疗机器人做手术或带康复训练时，它能帮上忙。手术步骤、康复动作怎么排，靠着生成的未来空间能算得更准。