VASA-1 - 微软推出的静态照片对口型视频生成框架

VASA-1是什么

VASA-1是由微软亚洲研究院提出的一个将静态照片转换为对口型动态视频的生成框架。给它一张静态人脸照片和一段语音音频，VASA-1 就能实时生成逼真的 3D 说话面部动画：嘴唇跟音频对得准，表情有细节，头部动作也自然，虚拟角色看着有真人感。它的核心创新是全貌面部动态和头部运动生成模型，这个模型在面部潜在空间中工作，能高效生成高分辨率视频，同时支持在线生成、延迟低。

VASA-1的功能特性

• 逼真的唇音同步：VASA-1 生成的唇部动作和输入语音精确同步，说话效果很逼真。
• 丰富的面部表情：除了唇部动作，VASA-1 还能捕捉并再现复杂的表情和细微的情绪，动画的真实感更强。
• 自然头部运动：模型能够模拟自然的头部动作，如转动和倾斜，使得生成的说话面部视频更加生动。
• 高效视频生成：VASA-1 在线生成可达 40 FPS 的 512×512 分辨率视频，初始延迟很低，适合实时应用。
• 灵活可控生成：把主要目光方向、头部距离、情感偏移这些可选信号当条件输入，VASA-1 的生成过程就能被控制，输出的多样性和适应性更高。
• 处理不同输入：训练分布之外的照片和音频输入，VASA-1 也能处理，比如艺术照片、歌唱音频和非英语语音。

VASA-1的官网入口

• 官方项目主页：https://www.microsoft.com/en-us/research/project/vasa-1/
• arXiv研究论文：https://arxiv.org/abs/2404.10667

VASA-1的工作原理

• 输入准备：VASA-1 需要两个主要输入：一张任意人的静态面部图像，一段任意人的语音音频剪辑。
• 面部特征提取：面部编码器从静态面部图像里提取 3D 外观体积、身份代码、头部姿态和面部动态代码等特征。
• 面部潜在空间建模：建一个面部潜在空间，把面部动态和身份、外观这些因素分得比较开，表情细节和动态的细微差别也表达得出来。
• 扩散模型训练：训练一个基于扩散的模型（Diffusion Transformer），在面部潜在空间里生成完整的面部动态和头部运动，条件是给定的音频和可选的控制信号。
• 条件信号整合：主要目光方向、头部距离、情感偏移等控制信号作为条件送进扩散模型，用来指导面部动态怎么生成。
• 面部动态和头部运动生成：用训练好的扩散模型，按输入的音频特征和条件信号，生成面部动态和头部运动的潜在代码序列。
• 视频帧生成：面部解码器配合编码器提取的外观和身份特征，把生成的面部动态与头部运动潜在代码变成最终的视频帧。