Hallo2 - 复旦、百度和南大共同推出的音频驱动视频生成模型

Hallo2是什么

Hallo2 是复旦大学、百度公司和南京大学一起推出的音频驱动视频生成模型。它把一张参考图片和几分钟长的音频结合起来，还能用可选的文本提示调节肖像表情，生成和音频同步的高分辨率 4K 视频。Hallo2 用了补丁下降、高斯噪声这些数据增强技术，长时间的视觉一致性和时间连贯性更好。Hallo2 通过潜在代码的矢量量化和时间对齐技术生成 4K 分辨率的视频，并把语义文本标签作为条件输入，动画的可控性和多样性因此提高。在多个公开数据集上，Hallo2 做了大量实验，长时间、高分辨率、内容丰富且可控这些能力都展示了出来。

Hallo2的主要功能

• 长时视频生成：视频能长到一小时，外观漂移和时间伪影这两个老问题被解决掉了。
• 高分辨率输出：肖像视频能做到 4K 分辨率，画面细节看得清。
• 音频驱动动画：用音频驱动肖像图片动起来，口型和表情都能跟声音对上。
• 文本提示调节：文本提示可以调节、细化肖像的表情，动画的多样性和表现力更足。
• 数据增强技术：补丁下降和高斯噪声这两种增强技术，让视频在长时间里保持视觉一致、时间连贯。

Hallo2的技术原理

• 补丁下降技术（Patch-Drop Augmentation）：做法是在条件帧里随机丢掉一部分图像块（补丁），前面一帧对后面帧外观的影响就小了，长时间生成的视觉一致性也能保住。
• 高斯噪声增强：在补丁下降的基础上再加高斯噪声，模型对参考图像外观的依赖进一步提高，运动信息得以保留，伪影和失真也不会越积越多。
• 向量量化生成对抗网络（VQGAN）：靠着潜在代码的矢量量化加上时间对齐，Hallo2 在时间维度上能维持连贯，生成 4K 分辨率的高质量视频。
• 语义文本标签：Hallo2 把可以调整的语义文本标签当作条件输入，按文本提示就能生成指定的表情和动作，可控性更高。
• 跨注意力机制（Cross-Attention Mechanism）：去噪过程中，模型能把音频特征、文本嵌入这些运动条件整合进来，生成的画面和条件输入对得上。

Hallo2的项目地址

• 项目官网：fudan-generative-vision.github.io/hallo2
• GitHub仓库：https://github.com/fudan-generative-vision/hallo2
• HuggingFace模型库：https://huggingface.co/fudan-generative-ai/hallo2
• arXiv技术论文：https://arxiv.org/pdf/2410.07718v1
• Hallo3肖像动画生成框架：/posts/hallo3

Hallo2的应用场景

• 电影和视频制作：拍电影时，Hallo2 可以生成或加强角色的面部表情和口型，虚拟角色和特效比较多的科幻片、动画片尤其用得上。
• 虚拟助手和数字人：客服、教育、娱乐这些领域里，Hallo2 能做出逼真的虚拟助手或数字人，交互更自然，也更吸引人。
• 游戏开发：游戏开发者可以用 Hallo2 做真实感很强的角色动画，游戏的沉浸感和玩家体验都能提上去。
• 社交媒体和内容创作：内容创作者拿 Hallo2 做动态肖像视频发到社交媒体，内容更好看，互动也更多。
• 新闻和广播：Hallo2 能生成新闻主播的动画形象，遇到多语言播报时，不同语言的口型和表情都能快速做出来。