SeedFoley - 字节推出的端到端视频音效生成模型

SeedFoley是什么

SeedFoley 是字节跳动豆包大模型语音团队做的端到端视频音效生成模型，给视频创作配声音。它把视频的时空特征和扩散生成模型放在一起用，音效和画面能对得比较齐。视频编码器走的是快慢特征组合：高帧率上抓帧间的局部运动，低帧率上取语义信息；音频这边用原始波形做表征，高频信息留得住，音效听着更细。扩散模型优化的则是概率路径上的连续映射，推理步数少了，成本也降下来。SeedFoley 能提取到帧级的视觉信息，动作音效和环境音效分得开，不同长度的视频都支持，准确性、同步性、匹配度这几项成绩都不错。

SeedFoley的主要功能

• 智能生成音效：帧级的视觉信息它能取到，多帧一对照，画面里是谁在发声、在做什么动作就清楚了。节奏强烈的音乐段落、电影里的紧张情节，卡点能卡准，看的人容易进去。
• 区分音效类型：动作音效和环境音效它分得开，叙事上的张力和情绪传递都更到位。
• 支持多种视频长度：视频长度可变，短的长都能输入；音效准确性、同步性、匹配度这些指标都做到了领先水平。

SeedFoley的技术原理

• 视频编码器：视频编码器是快慢特征组合的路子：高帧率管帧间的局部运动，低帧率管语义。这样在计算资源不多的情况下，也能做到 8fps 的帧级别特征提取，动作定位够细。快慢特征最后由 Transformer 融合，时空特征就出来了。
• 音频表征模型：传统做法是用梅尔频谱喂 VAE，SeedFoley 换成原始波形输入，编码后得到 1D 表征。采样率 32k，高频细节不会丢。每秒音频能提出 32 个潜在表征，时序上的分辨率高了，音效也就更细。
• 扩散模型：框架是 Diffusion Transformer，优化的对象是概率路径上的连续映射，最终把高斯噪声分布概率匹配到目标音频表征空间。传统扩散模型靠马尔可夫链式采样，一步步挪；SeedFoley 改走连续变换路径，推理步数少了不少，成本也跟着降。训练时视频特征和音频语义标签各自编成隐空间向量，再按通道拼起来，和时间编码、噪声信号混成联合条件输入。音效和画面在时序上因此更合拍。

如何使用SeedFoley

• 访问即梦平台：访问即梦的官方网站或使用即梦 App，注册并登录。
• 生成视频：在即梦上选视频生成，按自己的需求把视频做出来。
• 选择「AI 音效」功能：视频生成完，点「AI 音效」。系统会自动给出 3 个专业级音效方案。
• 预览和选择音效方案：几个方案都听一遍，挑和视频内容最搭的那个。
• 应用音效：选好的音效直接应用到视频上。
• 注意事项：
  • 视频长度：视频长度可变，短的长都能进，不过别太长，生成效果更稳。
  • 音效类型：动作音效和环境音效它分得开，叙事张力和情绪传递都更到位。
  • 预览效果：挑方案的时候，每个都仔细听一遍，和视频内容最贴的那个才值得选。

SeedFoley的应用场景

• 生活 Vlog：个人 Vlog 缺环境声，街头的嘈杂、咖啡馆的背景音乐都能补上。
• 短片制作：短片里配上跟情节对得上的动作音效和环境声，观众更容易入戏。
• 游戏制作：游戏视频的战斗音效、环境音效都能加，看起来更有临场感。
• 视频后期制作：后期阶段用它配音效，和画面的匹配度不错，时间和成本都能省。
• 广告视频：广告片的音效可以交给它，片子更抓人，传播效果也好一些。
• 教育视频：教育视频配上合适的音效，学习的人更容易集中注意力。