Genie 2 - 谷歌DeepMind推出的最新一代基础世界模型

Genie 2是什么

Genie 2是DeepMind推出的新一代大规模基础世界模型，仅凭一张图片就能生成长达1分钟的可交互3D游戏世界。物体交互、角色动画、物理效果这类复杂动态，Genie 2能模拟出来，操作走键盘和鼠标。模型有长时间记忆，暂时离开视野的场景能记住，之后再精确还原。Genie 2还能实时创造符合逻辑的新场景内容，在长达一分钟的时间里保持整个世界的一致性。

Genie 2的主要功能

• 基于图像生成3D世界：Genie 2根据单张图片生成可交互的3D游戏世界，最长可玩1分钟。
• 动作控制：模型能响应键盘和鼠标输入的指令，识别动作并把角色移动到正确位置。
• 生成反事实场景：同一个开始画面，能衍生出多条不同的发展路径。
• 长时间记忆：Genie 2能记住暂时离开画面的场景，等画面重新进入视野时精确还原。
• 持续生成新场景：过程中实时创造符合逻辑的新场景内容，整个世界的一致性也保持得住。
• 多样化环境生成：能生成多种不同的观察视角，第一人称视角、等距视角、第三人称驾驶视角都可以。
• 3D结构创建：可以创建结构复杂的3D视觉场景。
• 物体属性与交互：气球爆裂、开门、射击炸药桶这类物体交互都能建模。

Genie 2的技术原理

• 自回归潜变量扩散模型：这是一个自回归潜变量扩散模型，用大规模视频数据集训练得到。
• 视频帧处理：视频的潜变量帧先经自动编码器处理，再送进大规模的Transformer动态模型。
• 因果掩码训练：Transformer模型用因果掩码训练，思路和大型语言模型用的掩码方式类似。
• 自回归采样：推理阶段，Genie 2用自回归方式采样，逐帧只依赖单个动作和先前的潜变量帧。
• 无分类器指导：动作控制上用无分类器指导（classifier-free guidance），动作的可控性更高。

Genie 2的项目地址

• 项目官网：deepmind.google/discover/blog/genie-2

Genie 2的应用场景

• 智能体训练与评估：能创建复杂的虚拟环境，用来训练和测试AI智能体在模拟环境里的表现和决策能力。
• 游戏开发：游戏开发者拿Genie 2生成的动态世界设计内容，游戏更丰富也更互动，玩家沉浸感更强。
• 模拟与训练：军事训练里可以模拟战场环境，教育里可以模拟历史事件，模拟出来的体验逼真，训练和学习都能用。
• 机器人学习：可以当作机器人训练的平台，模拟不同环境和情况，帮机器人学会在现实世界里导航和操作。
• 虚拟现实（VR）和增强现实（AR）：结合VR和AR技术创建虚拟环境，娱乐、教育、专业训练都用得上，体验沉浸感强。