AudioX-Turbo - Noiz AI 联合清华推出的音频生成框架

AudioX-Turbo是什么

AudioX-Turbo 是 Noiz AI 联合香港科技大学、清华大学做的音频生成框架，文本、视频、音频可以任意组合输入，输出音效和音乐。模型基于 2.7B 参数的多模态扩散 Transformer，靠分布匹配蒸馏和对抗蒸馏把推理步数从 50–200 步压到 4 步，单张 RTX 4090 生成 10 秒音频只要 0.24 秒。团队还构建了约 920 万样本的强指令数据集 IF-caps-Pro，第一次做到精确的时间戳控制。

AudioX-Turbo的主要功能

• 文本转音频（T2A）：只给文本提示，就能生成环境音、动作音效，声音类型、风格、场景都能描述得很细。
• 文本转音乐（T2M）：按文字指令出指定风格、乐器配置、节奏和情绪的音乐片段，复杂的乐理描述也接得住。
• 视频转音频（V2A）：给无声视频自动配音、拟音（Foley），画面里有什么动作，就配什么音效和环境声。
• 视频转音乐（V2M）：先看视频的情绪、节奏和画面变化，再生成对得上的配乐，音乐风格可选。
• 文本+视频联合生成（TV2A / TV2M）：画面加文本一起控制，比如指定”第3秒出现雷声，第5秒加入吉他”，音效和音乐能精确落到具体秒数。
• 音频补全与修复 ：拿上下文音频做补全、修复或风格迁移，续写和降噪都能干。
• 图像转音频（零样本）：不用针对图片专门训练，看一张静态图就能推断出该配什么环境音或场景音效。

AudioX-Turbo的技术原理

• 多模态扩散 Transformer 架构：模型是 2.7B 参数的多模态扩散 Transformer，建在 Flow Matching 框架上。文本走 T5 编码器提语义，视频走 Synchformer 提时序视觉特征，音频用 VAE 压到隐空间，三种模态统一投影后进共享 Transformer 做交叉注意力融合，文本、视频、音频怎么组合都能一起生成。
• 分布匹配蒸馏与对抗蒸馏：教师模型要采 50–200 步，为了压到 4 步，团队用了两阶段蒸馏：先用分布匹配蒸馏（DMD）把学生模型往教师的流场分布上拉，单步预测就能对上多步结果；再加一个扩散判别器做对抗蒸馏，在 4 步的限制下继续抠音频细节。部分客观指标上，学生模型甚至反超了教师。
• 强指令数据集 IF-caps-Pro：团队构建了约 920 万样本的 IF-caps-Pro 数据集，关键在结构化标注：每条数据都带精确时间戳、事件数量、乐器类型、出现顺序这些元信息。所以模型不只会认”吉他+鼓点”这种静态组合，”先蝉鸣 3 秒、第 5 秒加入吉他、第 8 秒淡出”这种复杂时序指令也能照做，可控性好了不少。
• 三阶段渐进训练策略：训练分三步走：先在纯文本-音频数据上预训练，把基础声学理解打牢；再加入视频数据，扩到多模态联合生成，学音画怎么同步；最后做蒸馏加速，把多步模型压成 4 步版本。这样推理成本降下来了，多模态理解没怎么丢。

如何使用AudioX-Turbo

• 环境配置：把 GitHub 仓库克隆下来，建一个 Python 3.8 环境，装好 FFmpeg、libsndfile 和 requirements.txt 里的依赖。
• 权重下载：从 Hugging Face 或 GitHub Release 下 AudioX-Turbo 4 步学生模型、VAE 和 Synchformer 视频编码器的预训练权重。
• 启动推理：运行 python run_gradio.py 起一个本地 Web 界面，也可以直接调 Python API 加载模型和分词器。
• 参数设置：根据任务类型设置 video_path、text_prompt、audio_path 这些输入参数，文本、视频、音频怎么组合都行。
• 生成音频：跑一次前向推理，4 步采样出 10 秒音频，RTX 4090 上大约 0.24 秒。

AudioX-Turbo的核心优势

• 极速推理：4 步采样的音质能追上教师模型 100 步，NFE 少了约 25 倍，基本是实时出音。
• 统一多模态：一个模型就能接文本、视频、音频的任意组合，不用为每个任务单独训专家模型。
• 精准指令跟随：920 万条数据都带时间戳、事件数量和乐器标注，”先蝉鸣后吉他”这类时序指令它才听得懂。
• 高质量蒸馏：Flow Matching 上的分布匹配蒸馏（DMD）配合扩散判别器，学生模型有一部分指标反超了教师模型。

AudioX-Turbo的项目地址

• GitHub仓库：https://github.com/NoizAI/AudioX-Turbo
• HuggingFace模型库：https://huggingface.co/HKUSTAudio/AudioX-Turbo
• arXiv技术论文：https://arxiv.org/pdf/2606.12555