Hallo3 - 复旦联合百度开源的高动态与真实感肖像动画生成框架

Hallo3是什么

Hallo3 由复旦大学和百度公司联合推出，是一项基于扩散变换器网络（Diffusion Transformer Networks）的肖像图像动画技术，能生成动态感很强、看着也真实的视频。Hallo3 架在预训练的变换器视频生成模型上，针对现有方法在非正面视角、动态对象渲染和沉浸式背景生成上的短板做了处理。Hallo3 的骨干网络换成了新的视频架构，另配一个身份参考网络守住视频里的人物身份，语音音频条件和运动帧机制也做了研究，于是音频可以驱动连续的视频生成。实验里，Hallo3 生成多个朝向的逼真肖像表现不错，复杂姿势和动态场景都能应付，动画看起来平滑、自然。

Hallo3的主要功能

• 多视角动画生成：正面、侧面、overhead 或低角度，多个视角都能生成动画肖像，不再像传统方法那样基本只能拍正面。
• 动态对象渲染：人物手里的智能手机、麦克风，或者身上贴合的物件，这些肖像周围的动态对象也能动画起来，视频里的运动看着是那么回事。
• 沉浸式背景生成：背景也带动态，比如前景烧着的篝火、身后拥挤的街道，画面更真，也更容易看进去。
• 身份一致性保持：整段视频里人物身份保持一致，动画时间再长，面部特征也不会跑偏。
• 语音驱动的动画：语音音频同时驱动面部表情和嘴唇动作，声音和口型对得比较准，看起来自然。

Hallo3的技术原理

• 预训练的变换器视频生成模型：
  • 基础架构：基础架构用的是 CogVideoX 模型，视频数据由 3D 变分自编码器（VAE）压缩。潜在变量和文本嵌入合到一起，再交给专家变换器网络处理。
  • 条件机制：条件机制有三种：文本提示（ctext）、语音音频条件（caudio）和身份外观条件（cid），这些信息主要靠交叉注意力（cross-attention）和自适应层归一化（adaLN）整合进来。
• 身份参考网络：
  • 3D VAE和变换器层：身份参考网络由因果3D VAE加 42 层变换器层构成，从参考图像里提取身份特征，嵌进去噪潜在代码，再靠自注意力机制强化身份表示，长时间也守得住。
  • 特征融合：参考网络给出的视觉特征和去噪网络的特征融在一起，长序列里的面部动画才不至于前后两张脸。
• 语音音频条件：
  • 音频嵌入：音频特征由 wav2vec 框架提取，逐帧生成音频嵌入，再用线性变换层转成模型好处理的表示。
  • 交叉注意力机制：去噪网络里，交叉注意力让音频嵌入和潜在编码互相作用，输出的画面和声音能对上，驱动角色生成的那部分音频信号也不会漏掉。
• 视频外推：运动帧被当作条件信息用。已生成视频的最后几帧会作为下一段的输入，经 3D VAE 处理得到新的潜在代码，长视频推理因此前后连贯。
• 训练和推理：
  • 训练过程：训练分两个阶段。先让模型生成身份一致的视频，再扩到音频驱动的视频生成，把音频注意力模块并进去。
  • 推理过程：输入是参考图像、驱动音频、文本提示和运动帧，输出的是身份一致、口型对得上的视频。

Hallo3的项目地址

• 项目官网：https://fudan-generative-vision.github.io/hallo3
• GitHub仓库：https://github.com/fudan-generative-vision/hallo3
• HuggingFace模型库：https://huggingface.co/fudan-generative-ai/hallo3
• arXiv技术论文：https://arxiv.org/pdf/2412.00733

Hallo3的应用场景

• 游戏开发：游戏角色的肖像动画可以动态生成，表情动作更像回事，玩家看着也更入戏。
• 电影制作：逼真的角色动画能直接生成，电影和动画的画面更有代入感。
• 社交媒体：社交媒体用户可以把头像动起来，个人资料页不至于太单调。
• 在线教育：虚拟讲师的动画能生成，网课不至于干巴巴，学生也更容易坐得住。
• 虚拟现实和增强现实：VR 和 AR 里的虚拟角色可以生成，交互起来更真实，沉浸感也更强。