YuE - 港科大联合 M-A-P 联合推出的开源AI音乐生成模型

YuE是什么

YuE 是香港科技大学和 Multimodal Art Projection 团队联合开发的开源 AI 音乐生成模型。把歌词丢给它，能生成一整首歌，流行、金属、爵士、嘻哈等风格都支持，英语、中文、日语、韩语等语言也能唱。音乐生成里的难点——长上下文、复杂音乐信号、语言内容失真——YuE 靠语义增强音频分词器、双分词技术、歌词链式思维生成和三阶段训练方案来解决，生成的歌曲结构连贯，声乐旋律也好听。模型完全开源，代码可以自由使用和修改；生成选项灵活，简单敲几个命令行参数就能调歌曲的风格、声乐类型这些细节。

YuE的主要功能

• 歌词转歌曲：输入歌词就能生成完整歌曲，主唱和伴奏都有。
• 多种音乐风格支持：支持流行、金属、爵士、嘻哈等多种音乐风格。
• 高质量生成：靠多项技术做优化，生成的歌曲既连贯又有质量。
• 多语言支持：支持英语、中文、日语和韩语等多种语言。
• 长时间音乐创作：可以生成长达 5 分钟的完整歌曲。
• 开源与可定制：代码和模型完全开源，用户可以自由使用和修改。
• 情感和风格匹配：还能按歌词的情感基调来匹配音乐风格。
• 跨模态应用：可以和其他多模态模型搭配，用到多媒体艺术创作里。

YuE的技术原理

• 语义增强音频分词器：YuE 用语义增强音频分词器降低训练成本、加快收敛，对歌词语义信息的理解也更好，把它和音乐信号结合起来，生成的音乐更贴歌词内容。
• 双分词技术：YuE 提出的双分词技术，不用改 LLaMa 解码器-only 架构就能做音轨同步的声乐-乐器建模。生成主唱的同时，合适的伴奏也会一并出来，节奏和旋律互相协调。
• 歌词链式思维生成：YuE 引入歌词链式思维生成技术，在遵循歌词条件的前提下一步步生成整首歌曲，长上下文信息处理得更从容，歌曲整体结构保持连贯。
• 三阶段训练方案：YuE 采用了三阶段训练方案，确保更好的可扩展性、音乐性和歌词可控性。具体来说：
  • 第一阶段：基础模型训练，学习音乐生成的基本模式。
  • 第二阶段：风格和情感对齐，用大量样本调整模型，让它能按指定的风格和情感来生成音乐。
  • 第三阶段：偏好纠正，用强化学习等技术进一步优化生成结果，让音乐更合人类的审美。

YuE的项目地址

• 项目官网：https://map-yue.github.io/
• GitHub仓库：https://github.com/multimodal-art-projection/YuE
• HuggingFace模型库：https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot

YuE的应用场景

• 音乐创作：音乐创作者可以拿 YuE 快速出旋律和伴奏，找创作灵感；给它歌词，它能生成符合情感和风格需求的个性化歌曲。
• 影视与视频制作：可以给电影、电视剧、短视频生成背景音乐，匹配不同场景的情感和氛围；也能给广告做朗朗上口的铃声，品牌信息传得更到位。
• 游戏音乐：给游戏生成和场景匹配的背景音乐，沉浸感更强。
• 社交媒体内容：给 TikTok、Instagram 这类平台上的短视频配上独特的背景音乐。