Matrix-Game - 昆仑万维开源的工业界首个空间智能大模型

Matrix-Game是什么

Matrix-Game是昆仑万维开源的、工业界首个10B+空间智能大模型，是Matrix-Zero世界模型里的可交互视频生成大模型。模型基于两阶段训练策略，按用户输入生成连贯、可控的互动视频，优势在于细粒度的用户交互控制、高保真的视觉与物理一致性、多场景泛化，可以用来搭虚拟游戏世界、生产影视和元宇宙方面的内容。

Matrix-Game有哪些能力

• 可控视频生成：用户通过简单的键盘指令、鼠标移动等操作，就能自由探索、操控，甚至创造出细节丰富、物理规则合理的虚拟世界。
• 多场景泛化：已经能泛化到多种Minecraft游戏场景（森林、沙滩、沙漠、冰川等），后续有望扩展到非Minecraft的游戏环境。
• 自回归式长视频生成：支持自回归式的长视频生成，动作和视角之间衔接顺滑，时间一致性与环境适应性都有保障。
• 系统化评估：提出统一的GameWorld Score标准，从视频的视觉质量、时序质量、动作可控性与物理规则理解这四个维度量化评估模型性能。

Matrix-Game是怎么实现的

• 两阶段训练策略：第一阶段用大规模无标签的Minecraft游戏视频数据做预训练，让模型学到环境的基本特征和动态规律；第二阶段用带键盘与鼠标控制信号的Minecraft和Unreal可控视频数据做细粒度可控训练，让模型按用户输入生成对应的交互式视频。
• 图像到世界建模：以单张参考图像作为生成交互式视频的起点，不依赖语言提示，直接基于视觉信号建模空间几何、物体运动和物理交互。
• 自回归式视频生成：按自回归方式扩展生成长度，每次拿前一个视频片段的最后几帧当运动上下文，逐段递进生成，保证时间上连贯。训练中引入随机扰动、随机删除和Classifier-free guidance策略，用来缓解时序漂移和误差累积。
• 可控交互设计：键盘动作用离散token表达，视角移动用连续token表达；基于GameFactory的控制模块融入多模态Diffusion Transformer架构，再用Classifier-free guidance策略提升对控制信号响应的稳定性。

Matrix-Game的项目地址

• 项目官网：https://matrix-game-homepage.github.io/
• GitHub仓库：https://github.com/SkyworkAI/Matrix-Game
• HuggingFace模型库：https://huggingface.co/Skywork/Matrix-Game
• 技术论文：https://github.com/SkyworkAI/Matrix-Game

Matrix-Game能用在哪里

• 虚拟游戏开发：快速生成多样化的游戏地图和动态交互环境，开发效率和玩家沉浸感都能提上来。
• 影视与元宇宙：生成高保真的动态场景，支持沉浸式体验开发，让创意内容更快落地。
• 具身智能训练：提供多样化的虚拟环境，丰富具身智能体的训练数据，提升它的任务执行能力。
• 教育与培训：搭建虚拟教学和职业技能培训环境，方便学生和学员边理解边实践。
• 创意内容生成：为创意视频制作和虚拟场景设计提供丰富素材，让想法更快变成成片。