Hallo - 复旦百度等开源的AI对口型肖像视频生成框架

Hallo是什么

Hallo是由复旦大学、百度公司、苏黎世联邦理工学院和南京大学的研究人员共同提出的一个AI对口型肖像图像动画技术，输入一段语音音频，就能驱动肖像生成动态、逼真的说话视频。框架由两部分撑起来：基于扩散的生成模型，和分层的音频驱动视觉合成模块，音画同步的精度因此更高。网络架构里整合了 UNet 去噪器、时间对齐技术和参考网络，动画的质量和真实感都更强，唇动同步更准，动作也更多样。

Hallo的功能特色

• 音频同步动画：音频分析的底子加上肖像图像，两者一结合就生成动态的面部动画。唇动同步算法把嘴唇动作和音频里的声音对上，说话的样子比较像真的。
• 面部表情生成：音频里的情感和语调变化，Hallo 能识别出来，并生成对应的表情——微笑、皱眉、惊讶都在内。角色的「表演」因此自然得多，也有情绪。
• 头部姿态控制：头部姿态可以细调，倾斜、转动这些都能设，动画更容易对上音频里的意图和情绪，看和听之间也更协调。
• 个性化动画定制：动画的风格、表情、动作都能按场景和人物特征来定。想做一个只属于自己的角色，靠这套定制功能就能做出来，特定的视觉和情感表达也有地方落。
• 时间一致性维护：时间对齐技术让动作和表情的过渡更顺，不会突然跳一下。
• 动作多样性：除了跟着音频走的基本动作，它还能生成更多动作和风格。动作库可以按需切换，手势、眨眼这些细节加进去，画面就不那么单调了。

Hallo的官网入口

• 官方项目主页：https://fudan-generative-vision.github.io/hallo/#/
• GitHub代码库：https://github.com/fudan-generative-vision/hallo
• Hugging Face模型库：https://huggingface.co/fudan-generative-ai/hallo
• arXiv技术论文：https://arxiv.org/abs/2406.08801

Hallo的技术原理

• 分层音频驱动视觉合成：音频和视觉信息是分层处理的。嘴唇动作、面部表情、头部姿态各自单独处理，最后用自适应权重融合到一起。
• 端到端扩散模型：生成用的是扩散模型，也就是从潜在空间生成数据的那类方法。训练时数据逐步加噪，逆过程再把噪声去掉，清晰的图像就重建出来了。
• 交叉注意力机制：交叉注意力把音频特征和视觉特征连了起来，模型会把注意力放在跟当前音频最相关的面部区域上。
• UNet去噪器：去噪器基于 UNet，一步步去掉图像里的噪声，生成清晰的动画帧。UNet 在图像分割任务里用得很多，它靠跳跃连接把低层特征图带进来，生成质量因此更高。
• 时间对齐技术：动画在时间上要连贯，所以用了时间对齐技术，连续帧之间的过渡更平滑，前后也一致。
• 参考网络（ReferenceNet）：ReferenceNet 负责编码全局的视觉纹理信息，角色动画才能既一致又可控。生成过程中它会参考现有图像，输出的视觉质量更好。
• 面部和音频编码器：肖像的身份特征由预训练的面部编码器提取；音频这边用音频特征编码器（如 wav2vec），把声音转成能驱动动画运动的信息。
• 自适应权重调整：嘴唇、表情、姿态这些视觉组件的权重都能调，动画的多样性和细节因此可控。
• 训练与推理：训练时优化面部图像编码器和空间交叉注意力模块的参数，单帧生成能力随之提高。推理时把参考图像和驱动音频一起喂进去，输出动画视频序列。