Nova Sonic - 亚马逊推出的新型生成式 AI 语音模型

Nova Sonic是什么

Nova Sonic是亚马逊推出的新型生成式AI语音模型，把语音理解和语音生成装进了同一个模型。它会根据说话者的语调、风格等声学上下文来调整生成的语音，对话听着更自然。Nova Sonic支持多语言，眼下对美国英语和英国英语的语音理解最出色，多种说话风格、不同口音都接得住。平均单词错误率低至4.2%，多语言LibriSpeech基准测试的成绩好过OpenAI的GPT-4o-transcribe模型。

Nova Sonic的主要功能

• 原生语音处理：语音输入处理得高效，出来的语音自然流畅，交互效果更好。
• 高准确性：用HiFi语音识别技术，环境嘈杂或者用户发音不清也能准确理解意图。多语言LibriSpeech基准测试里，英语、法语、意大利语、德语、西班牙语的平均单词错误率只有4.2%。
• 自然对话能力：能捕捉说话者的停顿、打断这些情况，挑合适的时机开口，对话更顺。
• 实时信息获取：什么时候该上互联网拿实时信息，它会自己判断，给用户最优解。
• 强大的请求路由能力：按上下文把用户请求路由到不同API，调用互联网信息、解析专有数据源、在外部应用里采取行动都可以。
• 文本记录生成：给用户的语音生成文本记录，开发者可以拿这些文本去做各种应用。
• 低延迟与高性价比：平均感知延迟只有1.09秒，比OpenAI的GPT-4o模型快；价格也比OpenAI的GPT-4o便宜约80%，算是市场上性价比很高的AI语音模型。
• 支持多种语言和风格：目前支持美国英语、英国英语，覆盖多种说话风格和不同口音，后面计划扩展到更多语言和口音。

Nova Sonic的技术原理

• 高精度语音识别：Nova Sonic用HiFi语音识别技术，嘈杂环境、发音不清晰的情况下也能准确理解用户意图。多语言LibriSpeech基准测试中，Nova Sonic在英语、法语、意大利语、德语、西班牙语上的平均单词错误率（WER）只有4.2%，明显好于其他竞品。
• 双向流式 API：Nova Sonic通过亚马逊的Bedrock开发者平台提供服务，用的是双向流式API接口，音频输入输出实时双向流转，对话不会卡顿。

Nova Sonic的项目地址

• 项目官网：https://www.aboutamazon.com/news/innovation-at-amazon/nova-sonic

Nova Sonic的应用场景

• 客户服务：搭建自动化客服呼叫中心，听懂客户问题、给出准确解答，还能看客户情绪调整回应语气。
• 旅游：当虚拟旅游助手用，帮用户规划行程、订机票和酒店。
• 教育：开发语言学习应用，给学习者实时发音反馈，语言能力提升得快。
• 医疗保健：协助医生和患者沟通，提供医疗信息和建议。
• 娱乐：做语音交互式的游戏和虚拟角色，娱乐体验更好。