SongGeneration - 腾讯AI Lab开源的音乐生成大模型

发布于 2025-06-20 · SongGeneration是腾讯AI Lab推出的AI音乐生成大模型。模型支持解决音乐AIGC领域中的音质、音乐性与生成速度等关键问题，SongGeneration基于LLM-DiT融合架构，显著提升音质表现和生成速度，生成歌曲的质量在多个维度上优于多数开源模型，部分指标媲美商业闭源模型。

SongGeneration是什么

SongGeneration是腾讯AI Lab推出的AI音乐生成大模型。它针对音乐 AIGC 里的音质、音乐性和生成速度这几个问题来做，底层是 LLM-DiT 融合架构，音质和生成速度都有提升，生成的歌曲在多个维度上优于多数开源模型，部分指标能跟商业闭源模型比。SongGeneration 支持文本控制、多轨合成、风格跟随，创作者可以折腾的空间不小，商业应用需要的稳定性和拓展性也有。短视频配乐、游戏音效、虚拟人演出、商业广告、个人音乐创作，这些场景都能用。

SongGeneration的主要功能

文本控制：输入“开心流行”这样的关键词，就能生成对应风格和情绪的完整歌曲。
风格跟随：上传 10 秒以上的参考音频，可以生成风格一致的全长新曲，流派覆盖得比较宽。
多轨生成：人声和伴奏会分成独立轨道生成，旋律、结构、节奏和配器能对上。
音色跟随：基于参考音频的音色跟随，实现“音色克隆”的人声效果，听起来自然，也有情感。

SongGeneration的技术原理

LeLM（Language Model）：混合标记（Mixed Tokens）代表人声和伴奏的组合音频，用来把握歌曲的整体结构和节奏，让人声与伴奏对得上。双轨标记（Dual-Track Tokens）则分别编码人声和伴奏，负责音频细节。LeLM 会并行预测这两种标记，避免它们互相干扰，生成质量和效率都更高。
音乐编解码器（Music Codec）：编码器（Encoder）把音乐音频提取成混合标记和双轨标记，解码器（Decoder）再把双轨标记还原成音乐音频，保真度比较高。
多偏好对齐（Multi-Preference Alignment）：直接偏好优化（DPO）靠半自动构建的数据和 DPO 后训练来处理多样化的人类偏好，让模型在音乐性、指令遵循、人声与伴奏的配合上更好。偏好对齐覆盖歌词对齐、提示一致性、音乐性等多个维度，歌曲整体质量也能往上走。
三阶段训练范式：
- 预训练（Pre-training）：在大规模音乐数据上预训练，让不同输入模态和混合标记对齐。
- 模块扩展训练（Modular Extension Training）：接着训练 AR 解码器，对双轨标记建模，音质和音乐性都往上提。
- 多偏好对齐（Multi-Preference Alignment）：用 DPO 做后训练，优化模型在多个偏好维度上的表现。

SongGeneration的项目地址

GitHub仓库：https://github.com/tencent-ailab/SongGeneration
HuggingFace模型库：https://huggingface.co/tencent/SongGeneration
arXiv技术论文：https://arxiv.org/pdf/2506.07520
在线体验Demo：https://huggingface.co/spaces/tencent/SongGeneration

SongGeneration的核心优势

低比特率音乐编解码：25Hz 码率、0.35kbps 比特率下也能重建高质量音乐，语言模型的建模负担轻了不少。
多类别token并行预测：按“混合优先，双轨其次”的顺序预测，token 之间不打架，音质和音乐性都更好。
多维度人类偏好对齐：在音乐性、歌词对齐、提示一致性上做偏好对齐，模型效果和鲁棒性都更好。
三阶段训练范式：预训练、模块化扩展训练、多偏好对齐训练，三步下来优化音乐生成效果。

SongGeneration的性能表现

主客观整体测评：在与三款商业模型（Suno v4.5、海绵音乐、Mureka O1）和四款开源模型（YuE、DiffRhythm、ACE-Step、SongGen）做了主客观评测对比，SongGeneration 在开源模型里排第一，在商业模型中也靠前。
客观测评（第三方开源模型评测）：客观测评的横向对比里，SongGeneration 在内容欣赏度（CE）、内容实用性（CU）和制作质量（PQ）三个维度都排第一，制作复杂度（PC）也处于领先。
主观评测（普通用户 + 专业音乐人评测）：主观评测里，SongGeneration 的歌词准确度超过了包括 Suno 在内的众多模型，语音和文本的对齐做得不错，内容细节也处理得比较成熟。