GameGen-O - 腾讯推出的游戏视频生成模型，自动生成角色、场景、动作和事件

GameGen-O是什么

GameGen-O 是腾讯推出的游戏视频生成模型，基于 Transformer 架构，专门做开放世界视频游戏。它能模拟游戏引擎的多种功能——生成游戏角色、动态环境、复杂动作都不在话下，也支持交互控制，用户可以用文本、操作信号和视频提示来操纵游戏内容。开发时做了大规模的数据收集和处理，创建了首个开放世界视频游戏数据集 OGameData，训练分两个阶段：先做基础模型预训练，再做指令调整。这个模型能把开发成本和周期压下来，同时给玩家更多创作自由度，对游戏开发行业的影响不小。

GameGen-O的主要功能

• 角色生成：给一条文本指令就能生成各种角色，西部牛仔、太空人、魔法师都可以。
• 环境生成：能造出动态的游戏环境，不同风格、不同场景都适配。
• 动作生成：复杂的角色动作也能生成，比如驾驶、飞行、射击。
• 事件生成：游戏里的各类事件都可以生成，像天气变化、自然灾害。
• 交互控制：文本、操作信号、视频提示都能用来控制游戏内容，玩法过程是交互式的。

GameGen-O的技术原理

• 开放域生成：GameGen-O 生成的游戏元素种类很杂——角色、环境、动作、事件，游戏的可能性被放大了。
• 交互式可控性：生成游戏内容时，用户可以通过 InstructNet 分支做交互控制，改角色行为、调环境布局、让事件发生都可以。
• OGameData 数据集：为训练 GameGen-O，研究团队搭了大规模开放世界电子游戏数据集 OGameData，收录 150 多个游戏的 4000 多个小时视频片段，游戏类型和风格覆盖面广。
• 两阶段训练：训练走两阶段策略。第一阶段做基础模型预训练，先学会生成高质量的游戏视频；第二阶段做指令微调，让模型能按用户指令生成和控制内容。
• 技术创新：GameGen-O 用了 2+1D VAE 视频压缩、混合训练策略、掩码注意力机制等一批技术，模型稳定性和生成质量都有保障。
• 数据集构建和训练过程：从互联网收集 32,000 个原始视频，再由人类专家筛选、GPT-4o 标注，训练数据质量较高。基础训练阶段用变分自编码器压缩视频片段，并混合不同帧速率和分辨率一起训练。
• InstructNet：微调阶段用可训练的 InstructNet 接受文本、操作信号和视频提示等多模态输入，生成内容可以被交互控制。

GameGen-O的项目地址

• 项目官网：gamegen-o.github.io
• Github仓库：https://github.com/GameGen-O/GameGen-O/

GameGen-O的应用场景

• 游戏原型制作：开发者可以拿 GameGen-O 快速做原型，顺手测试不同游戏元素，不用从零搭游戏，省了不少时间和精力。
• 环境和场景生成：GameGen-O 能造出动态环境和复杂场景，游戏世界的视觉效果更丰富。
• 动作和事件生成：复杂的角色动作和游戏事件（海啸、龙卷风、火灾）都能生成，游戏更有互动性和挑战性。
• 辅助游戏开发：GameGen-O 可以接手游戏开发中的部分工作，让 AI 模型替人干活，开发效率随之提升。
• 研究和教育：对研究者和教育者来说，它可以当研究工具，用来探索视频游戏 AI 开发、交互控制、沉浸式虚拟环境这些方向。