EMO - 阿里推出的AI肖像视频生成框架

EMO是什么

EMO（Emote Portrait Alive）是阿里巴巴集团智能计算研究院的研究人员做的框架，一个音频驱动的AI肖像视频生成系统。给它一张参考图像和一段语音音频，它就能生成出带表情、带各种头部姿势的视频。人类表情里那些细微的差别、每个人面部风格的不同，它都抓得住，出来的动画比较逼真，表现力也够。

EMO的官网入口

• 官方项目主页：https://humanaigc.github.io/emote-portrait-alive/
• arXiv研究论文：https://arxiv.org/abs/2402.17485
• GitHub：https://github.com/HumanAIGC/EMO（模型和源码待开源）

EMO的主要特点

• 音频驱动的视频生成：音频（说话或者唱歌）输进去就能直接出视频，不用事先录好片段，也不用3D面部模型。
• 高表现力和逼真度：生成的视频表现力很强，面部表情的细微差别、那些很轻的微表情都能还原，头部动作也跟着音频节奏走。
• 无缝帧过渡：帧与帧之间的过渡做得比较自然，面部扭曲、帧间抖动这些问题都避开了，成片质量因此稳一些。
• 身份保持：FrameEncoding 模块负责把身份稳住，生成过程中角色的长相不会跑，跟输入的参考图像对得上。
• 稳定的控制机制：速度控制器、面部区域控制器这类稳定机制也用上了，生成过程不容易崩。
• 灵活的视频时长：视频多长，看音频多长，任意时长都能生成，创作上比较自由。
• 跨语言和跨风格：训练数据覆盖了多种语言和风格，中文、英文都有，现实主义、动漫、3D 风格也在内，不同文化和艺术风格它都能接。

EMO的工作原理

1. 输入准备：先准备一张参考图像，通常是目标角色的静态肖像，再配上一段音频，说话或者唱歌都行。这两样就是生成视频的底子。
2. 特征提取：参考图像的特征由 ReferenceNet 提取。它的结构和主网络（Backbone Network）差不多，专门从输入图像里抠细节特征。
3. 音频处理：音频先过预训练的音频编码器，把特征提出来。节奏、音调、发音这些信息都在特征里，后面驱动角色表情和头部动作就靠它们。
4. 扩散过程：扩散过程里，主网络拿多帧噪声当输入，每个时间步都试着把噪声去成连续的视频帧。这里有两个关键注意力机制：Reference-Attention 管身份一致性，Audio-Attention 管动作调制。
5. 时间模块：时间维度和动作速度由时间模块处理。模块在帧内特征上做自注意力，视频里的动态内容抓得住，连续帧之间也接得顺。
6. 面部定位和速度控制：动作要稳、要可控，靠的是面部定位器（Face Locator）和速度层（Speed Layers）。面部定位器用轻量级卷积层把面部边界框区域编码进去；速度层则把头部旋转速度嵌进生成过程，动作的快慢和频率由它调。
7. 训练策略：训练分三个阶段。图像预训练时，主网络和 ReferenceNet 都从单帧图像里学。视频训练阶段把时间模块和音频层加进来，处理连续帧。最后是速度层集成，这一阶段只训时间模块和速度层，让音频能真正驱动角色动作。
8. 生成视频：推理时用 DDIM 采样算法出视频片段，一轮轮去噪下来，最后得到和输入音频对得上的肖像视频。