SongGen - 上海 AI Lab 和北航、港中文推出的歌曲生成模型

SongGen是什么

SongGen是上海AI Lab、北京航空航天大学和香港中文大学推出的单阶段自回归Transformer模型，可以从文本生成歌曲。模型把歌词和描述性文本（如乐器、风格、情感等）作为输入，输出方式有混合模式和双轨模式两种：前者直接生成人声与伴奏的混合音频，后者分别合成人声和伴奏，后期编辑起来方便。靠创新的音频标记化策略和训练方法，生成歌曲的自然度和人声清晰度明显上来了，传统多阶段方法里训练和推理流程繁琐的老问题也一并解决。SongGen开源、数据质量高，给后续的音乐生成研究立了个新基准。

SongGen的主要功能

• 细粒度控制：生成的歌曲可以拿歌词和描述性文本（乐器、风格、情感等）来调控。
• 声音克隆：只需三秒参考音频就能克隆声音，生成的歌曲可以带上特定歌手的音色。
• 两种生成模式：提供混合模式和双轨模式。混合模式直接出人声和伴奏一体的音频；双轨模式把人声和伴奏分开合成，方便后期编辑。
• 高质量音频输出：音频标记化和训练策略都做过优化，生成的歌曲自然度高，人声也清晰。

SongGen的技术原理

• 自回归生成框架：自回归Transformer解码器把歌词和描述性文本编码成条件输入，再用交叉注意力机制引导音频标记的生成。
• 音频标记化：用X-Codec把音频信号编码成离散的音频标记，多代码序列按代码本延迟模式处理，生成效率高。
• 混合模式与双轨模式：
  • 混合模式：直接生成混合音频标记，同时引入辅助的人声音频标记预测目标（Mixed Pro），把清晰度这块补强。
  • 双轨模式：以平行或交错模式分别生成人声和伴奏标记，两者在帧级别上对齐，生成质量更稳。
• 条件输入编码：
  • 歌词编码：VoiceBPE分词器把歌词转成音素级标记，再由一个小型Transformer编码器提取关键的发音信息。
  • 声音编码：MERT模型提取参考音频的音色特征，支持声音克隆。
  • 文本描述编码：FLAN-T5模型把描述性文本编码成特征向量，音乐风格、情感这些都可以控制。
• 训练策略：
  • 多阶段训练：训练分几步走：模态对齐、无参考声音支持、高质量微调，模型性能逐步往上叠。
  • 课程学习：代码本损失的权重逐步调整，模型对音频细节学得更细。
  • 数据预处理：团队开发了自动化的数据预处理管道：从多个数据源收音频，把人声和伴奏分离，再产出高质量的歌词和描述性文本数据集。

SongGen的项目地址

• GitHub仓库：https://github.com/LiuZH-19/SongGen
• arXiv技术论文：https://arxiv.org/pdf/2502.13128

SongGen的应用场景

• 音乐创作：快速生成歌曲雏形、尝试不同风格，还能给歌词配伴奏，创作流程快了不少。
• 视频配乐：短视频、广告、电影的背景音乐都可以生成，风格按内容调整，画面效果也跟着加分。
• 教育辅助：学生可以用它理解音乐创作，通过生成歌曲学语言发音，创造力顺便被激发出来。
• 个性化体验：按用户输入生成定制歌曲，再用声音克隆做出“个人专属歌手”，娱乐性一下子上来了。
• 商业应用：给品牌生成专属音乐，替代版权受限的素材，广告和推广里都能用。