ACE-Step - ACE Studio联合阶跃星辰开源的音乐生成基础模型

ACE-Step是什么

ACE-Step 是 ACE Studio 和 StepFun 联合推出的开源音乐生成基础模型，靠一套新的架构把音乐生成做得又快又可控。ACE-Step 把扩散模型、深度压缩自编码器（DCAE）和轻量级线性变换器组合在一起，短时间内就能出完整的曲子，速度比传统 LLM 模型快 15 倍。多种音乐风格、语言和可控性功能都有覆盖，音乐人、制作人和内容创作者用它起稿、跑子任务都合适。

ACE-Step的主要功能

• 快速合成：生成速度快，质量也不塌。在 A100 GPU 上，4 分钟的音乐大概 20 秒就能出来。
• 多样化风格：流行、摇滚、电子、爵士这些主流风格都支持，歌词也能用多种语言生成。
• 变体生成：可以调噪声比例，同一首歌生成不同版本，选择余地更大。
• 重绘功能：只针对某一段重新生成，改风格、改歌词或改人声都行，其余部分保持不变。
• 歌词编辑：支持局部改歌词，旋律和伴奏不动。
• 多语言支持：支持 19 种语言，其中英语、中文、俄语、西班牙语、日语等 10 种语言的效果最好。
• Lyric2Vocal：基于 LoRA 微调，歌词可以直接转成人声音频。
• Text2Samples：生成音乐样本和循环，做乐器循环、音效这类素材时出东西很快。

ACE-Step的技术原理

• 扩散模型（Diffusion Model）：靠逐步去噪来生成数据，所以合成速度快。传统扩散模型的短板是长结构接不上，ACE-Step 用新的架构设计来补这块。
• 深度压缩自编码器：DCAE 负责高效的数据压缩和解压缩，音乐的细粒度细节保得住，计算资源的开销也降下来。
• 轻量级线性变换器：处理音乐的序列信息，让旋律、和声和节奏之间接得上。
• 语义对齐：ACE-Step 在训练时用 MERT（Music Embedding Representation）和 m-hubert 对齐语义表示（REPA），收敛更快，生成质量也更稳。
• 训练优化：训练阶段的语义对齐和优化技术，让 ACE-Step 在速度和连贯性之间取得平衡，短时间内出高质量的结果。

ACE-Step的项目地址

• 项目官网：https://ace-step.github.io/
• GitHub仓库：https://github.com/ace-step/ACE-Step
• HuggingFace模型库：https://huggingface.co/ACE-Step/ACE-Step-v1-3.5B
• 在线体验Demo：https://huggingface.co/spaces/ACE-Step/ACE-Step

ACE-Step的应用场景

• 音乐创作：旋律和歌词都能快速起稿，卡壳时拿来找灵感。
• 人声生成：从歌词直接出人声音频，制作人声演示很省事。
• 音乐制作：生成乐器循环和音效，创作素材可以很快攒起来。
• 多语言支持：跨语言写歌能用上。
• 音乐教育：可以当教学工具，学生边练边学音乐创作。