Fugatto - 英伟达推出的多功能AI音频生成模型

Fugatto是什么

Fugatto是英伟达（NVIDIA）推出的音频合成和转换模型，全称为”Foundational Generative Audio Transformer Opus 1″。给它一段文本提示，它能生成音频或视频，也能接收并修改现成的音频文件。比如把钢琴旋律转成人声演唱，或者给口语录音换口音、改情绪，这些都在能力范围内。放到音频编辑和制作流程里，用途不小。架构基于增强型的Transformer模型，加了自适应层归一化等特定修改，复杂的组合指令也能接住。

Fugatto的主要功能

• 音频生成与转换：Fugatto能按文本描述生成音效和音乐，比如把钢琴演奏变成人声歌唱，或者调整录音的口音和情绪。
• 多任务学习：模型覆盖多种音频生成与转换任务，音乐创作、声音效果设计、语音合成都在其中。
• 精细的艺术控制：借助ComposableART技术，多个指令可以叠加使用，对声音属性做细致调整，比如改音乐的节奏、音色，或者换语音的情感和口音。
• 动态音频生成：Fugatto能生成随时间变化的声音景观，变化轨迹可以由用户控制，声音的层次和起伏更丰富。
• 多语言和口音支持：多语言和口音是Fugatto的强项，各种语言的语音都能生成，多种口音、方言也支持，做出来的音频更接近真实语境。
• 音景创作：给电影和音频制作搭音景时，Fugatto能模拟自然现象的声音，比如雷雨声混上鸟鸣，临场感很强。
• 语音样本生成：模型能生成新的语音样本，语气和风格可以随交付场景调整，每次播放听感都有区别。

Fugatto的技术原理

• 深度神经网络：Fugatto 基于深度神经网络，经过针对性优化，能读懂文本、把描述转成声音，再按用户的具体需求调整输出。
• 大型语言模型 (LLM)：Fugatto 用大型语言模型来增强指令生成，对音频和文本提示之间的关系理解得更清楚。
• 数据生成方法：Fugatto 的数据生成方法不走传统监督学习那套，靠专门的数据集生成技术，覆盖各种音频和转换任务。
• 可组合音频表示转换 (ComposableART)：推理阶段用上了ComposableART技术，训练时只能单独出现的指令，这时可以组合起来用。
• 时间插值：Fugatto 能生成随时间变化的声音，NVIDIA 把这项功能叫作时间插值。模拟暴雨穿过一片区域就是这样，雷声先逐渐增强，再慢慢消失在远处。
• 生成新奇声音：大多数模型只能重现训练数据里见过的声音，Fugatto 不一样，用户可以做出此前从未出现过的音景。
• Transformer模型的特定修改：架构是经过特定修改的Transformer，比如自适应层归一化，好处是不同输入之间能保持一致，作曲类指令的支持也比现有模型更好。

Fugatto的项目地址

• Github仓库：https://github.com/fugatto/fugatto.github.io/blob/main/index.md
• 技术论文：https://d1qx31qr3h6wln.cloudfront.net/publications/FUGATTO.pdf

Fugatto的应用场景

• 音乐创作：音乐人拿它当创作工具，能较快生成符合需求的音乐素材。
• 声音设计：电影、游戏这类多媒体制作里，声音设计师可以用Fugatto找素材、找灵感，自然环境声、机械声、特殊效果声都能出。
• 语音合成与转换：文本转语音是基本操作，多种语言、口音的语音都能生成，也能做风格转换，比如换口音、改情感状态。
• 广告音频制作：广告代理商可以用它快速调整广告的口音和情感，投放到不同地区或场景时更贴合当地。
• 视频游戏音频：游戏开发者可以用Fugatto改预先录好的音频，也能按文本说明加上可选的音频输入，动态生成新的音频素材。