Multiverse - Enigma Labs推出的全球首款AI生成多人游戏模型

Multiverse是什么

Multiverse 是以色列团队 Enigma Labs 推出的全球首个 AI 生成多人游戏模型。做的是多人赛车：能超车、漂移、加速，每一次操作都会实时改变游戏世界。画面由模型实时生成，两名玩家看到的是同一个逻辑统一的世界。它基于扩散模型，把玩家的视角和动作放在一起处理，画面才连贯一致。核心是一套新的多人世界模型架构，用联合动作向量和双视角通道堆叠解决了多人游戏里视角一致性的难题。训练成本只要 1500 美元，普通 PC 就能跑。代码、数据、权重、架构和研究成果已经全部开源，AI 在多人游戏这块多了一种可能。

Multiverse的主要功能

• 多人实时交互：两名玩家在同一个虚拟世界里实时互动，比如赛车时超车、碰撞，双方的视角始终对得上。
• 动态世界生成：玩家的动作一变，游戏画面就跟着实时生成。
• 高效帧预测：往后预测游戏帧，画面才流得下去、接得上。
• 低成本运行：普通个人电脑就能跑，不需要高端硬件。

Multiverse的技术原理

• 多人游戏架构：要做多人游戏世界模型，核心模块留着，结构拆开来重搭，输入输出重新连线，训练流程从头设计，最后跑出来的是真正的双人合作游戏：
  • 动作嵌入器：拿到两个玩家的动作，输出一个能代表双方的嵌入。
  • 去噪网络：一个扩散网络，根据两人之前的帧和动作嵌入，把两个玩家的帧当成一个实体一起生成。
  • 上采样器：上采样器分别接两个人的帧，同时算出上采样后的版本。
• 视角合并解决方案：要做出多人游戏的感觉，模型得收下两个玩家之前的帧和动作，再分别输出各自预测的帧。难点在于这两份输出不能只是看着好看，内部还得对得上。Multiverse 的办法是绕一下：把两个视角拼成一张图，把两人的输入并成一个联合动作向量，整体当成一个场景来处理。具体操作是沿通道轴堆叠，两帧图像就成了一个双倍色彩通道的图像。这里的扩散模型是 U 型网络，主体是卷积层和解卷积层，第一层只看附近的像素；如果两帧垂直堆叠，要到中间层才会一起处理，模型在帧间建立一致结构的能力就弱了。按通道轴堆叠则不同，网络的每一层都同时看到两个玩家的视图。
• 训练方法
  • 上下文扩展：要准确预测下一帧，模型得知道玩家的动作（比如转向输入），也需要足够多的帧，才能算出两辆车相对路面、相对彼此的速度。研究发现 8 帧（30 帧/秒）就够模型学到车辆的运动学，比如加速、制动和转向。但两辆车的相对运动比路面慢得多，要捕捉这种相对运动，上下文得扩大近三倍。可上下文一涨，模型就慢到没法实时游戏，显存占用变高，训练速度也掉下来。作者的做法是保持上下文大小不变，改用稀疏采样补时间信息：先给最近 4 个帧，接下来的 4 个帧里每隔 4 个帧取一帧。上下文中最早的一帧是 20 帧，也就是过去 0.666 秒，足够捕捉车辆的相对运动，模型对速度和加速度的判断也更准，开起来的动态效果更好。
  • 多人游戏训练：模型要学会开车，还要学会多人游戏里的互动，就得在这些场景里训练。世界模型处理行走、驾驶这类常见任务时，预测范围通常很短，比如只看未来 0.25 秒。多人互动要的时间跨度长得多：四分之一秒里，玩家之间的相对运动几乎可以忽略。所以训练时得把预测范围拉长。Multiverse 让模型做自回归预测（30 帧/秒），最多往后推 15 秒。为了撑住这么长的预测，它用了课程学习，训练过程中把预测时间从 0.25 秒逐步加到 15 秒。开始阶段模型学的是汽车、赛道几何这些低级特征，训练效率高；等它能生成连贯的帧、把车辆运动学建起来，再往上加玩家行为这类高级概念。预测范围拉长之后，模型的「物理一致性」和帧间一致性都上了一个台阶。
  • 高效的长视野训练：训练时要预测未来 100 帧以上，VRAM 就不够用了。batch 一大，把这些帧全塞进 GPU 显存做自回归预测根本不现实。办法是分页做自回归：训练开始时先载入第一个 batch 预测，然后载入下一页数据，把超出上下文窗口的帧丢掉。

Multiverse的项目地址

• 项目官网：https://enigma-labs.io/blog
• GitHub仓库：https://github.com/EnigmaLabsAI/multiverse
• HuggingFace模型库：https://huggingface.co/Enigma-AI

Multiverse的数据集

• 数据来源：训练数据来自索尼的游戏《GT 赛车 4》（Gran Turismo 4）。
• 数据收集方法：靠游戏自带的回放系统，每场比赛重放两次，分别从两个玩家的视角录下来。两段录像同步之后与原始的双人比赛对齐，合并成一个视频，看起来就是两人同时在玩。再用计算机视觉逐帧读出屏幕上的油门、刹车、方向条，反推出控制指令——全靠画面就能还原操作，不需要额外的日志文件。
• 自动数据生成：写脚本往游戏的 B-Spec 模式里灌随机输入，让比赛自动跑起来，同时从两个视角录回放，拿到 AI 驾驶时的第三人称画面。

Multiverse的应用场景

• 多人游戏开发：开发多人在线游戏时用，互动能做得更真实、更丰富。
• VR/AR应用：搭一个多人共享的虚拟环境，沉浸感和社交性都会好一些。
• AI训练与研究：模型是开源的，可以拿去训练 AI Agent，研究复杂环境里的决策和协作。
• 教育与培训：造虚拟训练场景，驾驶、军事演练、团队协作训练都能用。
• 娱乐与社交：做虚拟聚会、在线活动这类应用，社交玩法能新一点。
• 模拟经营游戏：模拟经营游戏里，玩家要管资源、规划建筑、发展城市，每个决定都可能牵动整个世界的经济和生态平衡。