OmniHuman - 字节跳动推出的单张照片生成全身动态视频生成框架

发布于 2025-02-05 · OmniHuman 是字节跳动推出的端到端多模态条件化人类视频生成框架，能基于单张人类图像和运动信号（如音频、视频或两者的组合）生成逼真的人类视频。OmniHuman基于多模态运动条件混合训练策略，克服以往方法因高质量数据稀缺而导致的性能瓶颈，支持任意宽高比的图像输入（包括肖像、半身和全身图像），能适应多种场景。

OmniHuman是什么

OmniHuman是字节跳动推出的端到端多模态条件化人类视频生成框架，能用单张人物图像加上运动信号（音频、视频，或者两者组合）生成逼真的人像视频。OmniHuman 的训练走多模态运动条件混合策略，绕开了以往因高质量数据稀缺而卡住的性能瓶颈；任意宽高比的图像都能输入，肖像、半身、全身都行，场景适应性也广。OmniHuman 在唱歌、对话、手势这些环节的表现不错，视觉和音频风格支持多种，音频、视频以及组合驱动都兼容。

OmniHuman的主要功能

多模态驱动的视频生成：
- 音频驱动（说话、唱歌）和姿势驱动（手势、动作）都支持，两者还能混着用，生成的动作视频自然、流畅。
- 输入形式有好几种：面部特写、半身像、全身像，不同比例和风格的图像也兼容。
高逼真度与多样化动作：
- 生成出来的视频观感很真，面部表情、肢体动作都自然，动态也流畅。
- 复杂的动作和对象交互也处理得了，比如边唱歌边演奏乐器，或者让手势和物体自然互动。
灵活的视频生成：
- 宽高比任意，时长也不固定，跟着输入信号生成不同长度的视频片段。
- 写实、卡通、风格化人物，多种图像风格都能兼容。
多场景适应性：背景、光照条件、相机角度换来换去，成片质量都还稳。

OmniHuman的技术原理

混合条件训练策略：
- 多条件融合：文本、音频、姿势这几种运动条件一起混进训练，省掉了数据筛选带来的浪费，也利用了条件之间的互补性。
- 分阶段训练：训练分三个阶段，文本、音频、姿势逐个引入，按条件强弱调整各自的训练比例，泛化能力因此更好。
- 训练原则：强条件任务借用弱条件任务和它对应的数据，把数据规模撑大。条件越强，训练比例反而越低，免得模型过度依赖强条件。
扩散变换器架构：
- 基于DiT的模型：OmniHuman 的底座是视频生成架构 DiT，先用因果 3DVAE（Causal 3DVAE）把视频投影到潜在空间，训练目标用流匹配（Flow Matching）。
- 条件注入：
  - 音频条件：音频特征用 wav2vec 提取，和视频帧特征拼在一起生成音频令牌（tokens），再通过交叉注意力注入模型。
  - 姿势条件：姿势条件交给姿势引导器（Pose Guider），姿势热图特征和视频帧特征结合后生成姿势令牌（tokens），跟噪声潜在表示一起送进模型。
  - 文本条件：DiT 架构里的文本分支保留下来，专门用来描述生成的视频内容。
- 参考条件处理：参考条件走了一套新做法：改 3D 旋转位置嵌入（RoPE），把参考图像特征和视频特征融在一起，不用另加网络模块。
- 推理策略：
  - 分类器自由引导（CFG）：推理时对音频和文本条件用 CFG，强度逐步往下调，在表达性和计算效率之间找平衡，视频里的瑕疵（比如皱纹）也少一些。
  - 长视频生成：拿上一段视频的最后几帧当运动帧，长视频里的时间连贯性和人物身份一致性就有了着落。