GameFactory - 香港大学和快手联合推出的可泛化游戏场景框架

GameFactory是什么

GameFactory 是港大和快手科技联合提出的框架，针对的是游戏视频生成里的场景泛化难题。它建立在预训练的视频扩散模型之上，把开放域视频数据和小规模高质量的游戏数据集结合起来，用多阶段训练策略实现动作可控的游戏视频生成。

GameFactory的主要功能

• 场景泛化能力：GameFactory 能生成多样化的游戏场景，不局限于单一风格或预设场景，生成的视频更真实、也更丰富。
• 动作可控性：借助动作控制模块，GameFactory 能对生成视频里角色或物体的动作做精确控制。
• 高质量数据集支持：为了支撑动作可控的视频生成，GameFactory 用了 GF-Minecraft 数据集。这个数据集包含 70 小时的《我的世界》游戏视频，场景多样，动作标注详细。
• 交互式视频生成：GameFactory 支持生成无限长的交互式游戏视频，用户输入指令或交互信号就能控制视频内容的变化。

GameFactory是怎么实现的

• 预训练视频扩散模型：GameFactory 的基础是在开放域视频数据上预训练的视频扩散模型，能生成多样化的游戏场景，不再受限于特定游戏风格和场景。
• 三阶段训练策略
  • 第一阶段：用 LoRA（Low-Rank Adaptation）微调预训练模型，让它适应目标游戏领域，同时保留大部分原始参数，把模型在开放域的泛化能力留住。
  • 第二阶段：冻结预训练参数和 LoRA，只训练动作控制模块，避免风格与控制信号互相纠缠，目的是让生成的视频能按用户输入准确执行动作控制。
  • 第三阶段：去掉 LoRA 权重、保留动作控制模块的参数，系统就能在各种开放域场景里生成受控的游戏视频，不再绑定某一种游戏风格。
• 动作控制模块：GameFactory 引入动作控制模块，支持自回归动作控制，可以生成无限长的交互式游戏视频。
• GF-Minecraft 数据集：为了支撑动作可控的视频生成，研究团队发布了高质量动作标注视频数据集 GF-Minecraft。数据集里有 70 小时的《我的世界》游戏视频，场景多样、动作标注详细，设计上满足下面三个关键需求：
  • 可定制的动作：能做大范围、低成本的数据收集。
  • 无偏的动作序列：兼顾动作组合的多样性和低概率事件的覆盖。
  • 多样化的场景：用预设的环境配置（不同生物群落、天气条件、时间段等）来增强场景的多样性。

GameFactory的项目地址

• 项目官网：https://vvictoryuki.github.io/gamefactory
• arXiv技术论文：https://arxiv.org/pdf/2501.08325

GameFactory的应用场景

• 游戏开发：GameFactory 把预训练视频扩散模型和动作控制模块结合起来，能生成多样化的游戏场景和交互式视频内容。
• 游戏内容创新：GameFactory 的开放域生成能力跳出了传统游戏引擎的限制，能做出以往少见的游戏风格和场景。
• 自动驾驶：它的动作控制模块和场景生成能力可以拿来模拟自动驾驶环境，生成各种各样的驾驶场景。
• 具身智能（Embodied AI）：通过生成多样化的交互场景，给具身智能的研究提供支撑。