千影 QianYing - 巨人网络推出的有声游戏生成大模型

发布于 2024-12-13 · 千影 QianYing是巨人网络推出的有声游戏生成大模型，包含游戏视频生成大模型YingGame和视频配音大模型YingSound。YingGame面向开放世界游戏，是巨人网络AI Lab与清华大学SATLab联合推出的，能实现角色多样动作交互控制和物理仿真特性，与YingSound结合可生成匹配画面的复杂音效。

千影 QianYing是什么

千影 QianYing是巨人网络推出的有声游戏生成大模型，底下有两个部件：做游戏视频生成的 YingGame，和做视频配音的 YingSound。YingGame 盯着开放世界游戏，由巨人网络 AI Lab 和清华大学 SATLab 联合推出，能控制角色做出各种动作、还原物理仿真，配上 YingSound 就能生成和画面对得上的复杂音效。YingSound 由巨人网络 AI Lab、西北工业大学 ASLP Lab 和浙江大学一起推出，能给无声视频配上逼真音效，也懂视频语义、能把声音和时间对齐。千影 QianYing 想做的事，是用 AI 把游戏开发的门槛降下来，让更多人能参与创作，把“游戏+AI”这条路走快一点。

千影 QianYing的主要功能

YingGame的主要功能：
- 角色动作交互控制：YingGame 能把角色的各种动作做成可交互控制，玩家也能自己定义角色的动作和外观。
- 物理仿真特性：模型的物理模拟能力不弱，真实世界里的物理效果能仿出来，游戏也就更有真实感。
- 视频生成：搭配自研的视频配音大模型 YingSound，YingGame 能照着游戏画面生成对得上的复杂音效，直接产出带声音的游戏视频。
- 交互能力：YingGame 读得懂用户的输入交互，鼠标、键盘怎么操作都能识别，再驱动角色做出各种动作。
YingSound的主要功能：
- 时间对齐与视频语义理解：YingSound 的时间对齐和视频语义理解能力很突出，音效能精准地贴到画面上。
- 高精细度音效生成：真实场景、动漫、游戏视频等各类素材，模型都能生成多种类型的高精细音效。
- 多样化应用场景：YingSound 既能只拿视频、也能视频加文本一起，生成高保真音效，换到不同应用场景里也泛化得开。
- 跨模态对齐效果：靠创新的技术架构加强化学习，YingSound 在生成效果、时间对齐、视频语义理解这些方面都做到了业界前列。

千影 QianYing的技术原理

YingGame的技术原理：
- 物理仿真特性：内嵌了物理引擎，把重力、碰撞这些现实世界的物理规则模拟出来，游戏的真实感和沉浸感都更强。
- 跨模态学习：用跨模态学习把视觉信息和音效信息拉到一起，生成和画面对得上的音效。
YingSound的技术原理：
- 音频-视频同步技术：靠精确的时间对齐，让音效和视频内容保持同步，背后是复杂的时间序列分析。
- 深度神经网络：用深度神经网络生成高精细音效。网络会学着从视频里抓出关键特征，再转成对应的声音。