Loopy - 字节跳动推出的音频驱动的AI视频生成模型

Loopy是什么

Loopy是字节跳动推出的音频驱动的AI视频生成模型。扔一张静态照片进去，再给一段音频，照片里的人物就会跟着音频做表情、动脑袋，出来的视频比较逼真。技术上它用的是扩散模型，不需要额外的空间信号或条件，也能捕捉并学习长期运动信息，生成的动作自然流畅。娱乐、教育这类场景都能用。

Loopy的主要功能

• 音频驱动： Loopy 拿音频文件当输入，直接生成跟音频同步的动态视频。
• 面部动作生成： 生成嘴型、眉毛、眼睛这些部位的自然动作，静态图看起来就像在说话。
• 无需额外条件： 跟一些需要额外空间信号或条件的同类技术不一样，Loopy 不用辅助信息，自己就能生成视频。
• 长期运动信息捕捉： 能处理长期的运动信息，动作出来更自然也更流畅。
• 多样化的输出： 输出效果多样：音频里的情感、节奏这些特性会被读进去，配上相应的面部表情和头部动作。

Loopy的技术原理

• 音频驱动模型：核心是音频驱动的视频生成模型，按输入的音频信号生成同步的动态视频。
• 扩散模型：用的是扩散模型技术，靠逐步引入噪声、再学习逆向过程来生成数据。
• 时间模块：跨片段和片段内部都设计了时间模块，模型能理解并利用长期运动信息，动作更自然连贯。
• 音频到潜空间的转换：音频先经过音频到潜空间的模块，转成能驱动面部动作的潜在表示。
• 运动生成：从音频里提取特征，加上长期运动信息，生成嘴型、眉毛、眼睛等部位的动态变化。

Loopy的项目地址

• 产品体验：即梦AI – AI视频生成 – “对口型”功能
• 项目官网：https://loopyavatar.github.io/
• arXiv技术论文：https://arxiv.org/pdf/2409.02634

Loopy的应用场景

• 社交媒体和娱乐：给社交媒体上的照片或视频加动态效果，互动性和娱乐性都强一些。
• 电影和视频制作：做特效，让历史人物“复活”。
• 游戏开发：给游戏里的非玩家角色（NPC）生成更自然、更逼真的表情和动作。
• VR和AR：VR 或 AR 体验里，虚拟角色能做得更真实、更有沉浸感。
• 教育和培训：做教育视频，模拟历史人物演讲，或者重现科学实验的过程。
• 广告和营销：做广告内容，画面更抓人，也更容易被记住。