GLM-4-Voice - 智谱AI推出的端到端情感语音模型

GLM-4-Voice是什么

GLM-4-Voice是智谱AI推出的端到端情感语音模型，能直接理解和生成中英文语音，支持实时对话，还能按用户指令调整语音的情感、语调、语速和方言。模型分三个部分：GLM-4-Voice-Tokenizer 把连续语音转成离散 token，GLM-4-Voice-Decoder 把 token 还原成连续语音，GLM-4-Voice-9B 在 GLM-4-9B 基础上做预训练和对齐，负责理解和生成语音。GLM-4-Voice 的整体设计走端到端建模路线，减少信息损失，语音交互更自然流畅，延迟也低，实时对话撑得住。

GLM-4-Voice的主要功能

• 理解和生成语音：直接理解和生成中英文语音，不用来回转译，人机对话更流畅。
• 情感表达：能模拟高兴、悲伤、生气、害怕等不同情感和语调，语音回复听着更自然。
• 调节语速：按用户指令调整语音语速，适配不同的对话场景。
• 实时打断和指令输入：用户可以随时打断语音输出，输入新指令调整对话内容。
• 多语言和方言支持：支持中英文及多种中国方言，如粤语、重庆话、北京话等。
• 低延迟交互：采用流式思考架构，延迟压下来了，语音对话质量不打折。

GLM-4-Voice的技术原理

• 端到端建模：传统级联方案（ASR + LLM + TTS）分段处理，GLM-4-Voice 则在一个统一模型里完成语音的理解和生成，中间不掉信息。
• 音频Tokenizer：音频 Tokenizer 用有监督方式训练，把连续语音转成离散 token，码率只有 12.5Hz，语义信息和副语言特征都保留下来。
• 语音解码器：语音解码器基于 Flow Matching 模型结构，把离散语音 token 还原成连续语音输出，最低 10 个 token 就能开始生成，对话延迟随之降低。
• 预训练和对齐：GLM-4-Voice-9B 在 GLM-4-9B 的基础上做预训练和对齐，学会理解和生成离散化的语音 token。预训练用了大量音频和文本数据，音频理解和建模能力扎实。
• 流式推理：支持流式推理，模型可以文本和语音交替输出：拿文本当参照保证回复内容的质量，也随时按用户的语音指令调整语音输出。

GLM-4-Voice的项目地址

• 产品体验：智谱清言
• 项目官网：zhipuai.cn/news
• GitHub仓库：https://github.com/THUDM/GLM-4-Voice
• arXiv技术论文：https://arxiv.org/pdf/2412.02612

GLM-4-Voice的应用场景

• 智能助手：装进智能手机或智能家居设备后，它可以当语音助手帮用户办事，设提醒、查天气、控制设备都行。
• 客户服务：在客服中心当虚拟客服，靠自然语言理解和语音合成技术，给用户答疑、解决问题。
• 教育和学习：当语言学习助手，陪学生练发音、听力和口语，还能给出个性化的学习建议。
• 娱乐和媒体：娱乐行业可以拿它做语音合成，给动画、游戏、有声书提供自然、有表现力的语音输出。
• 新闻和播报：用在新闻播报时，能把文本新闻快速转成语音，推给需要听新闻的用户。