腾讯混元开源同声传译模型 Hy-SimulMT:中英语音到语音响应时延约 3 秒

发布于

腾讯混元在 10 月 26 日发布并开源了同声传译大模型 Hy-SimulMT。按 IT之家的记录,它支持中英之间的语音到语音实时翻译,响应时延约 3 秒、整体在 4 至 5 秒之间,并支持实时音色克隆;模型已在 Hugging Face、ModelScope 与 GitHub 开源,首发落在腾讯的 Hy 翻译 App。页面还提到其能力覆盖 33 种语言,评测由 6 位专家参与。

同传的产品门槛从来不是翻译质量,而是延迟与音色的同时成立。传统链路是语音识别、文本翻译、语音合成三段拼接,延迟会累加;直接做语音到语音则要在保音色、保节奏的前提下同步输出。3 秒的响应时延大致在人类同传的舒适区间内,这也是这类模型第一次具备「被用于真实会议」的可能。

本地部署语音能力在本月是条并行线:10 月 24 日 Ollama 上线首个语音模型 Phonon,官方称在 M5 Max 上达到实时的 113 倍推理速度、词错误率 1.2%。语音从云 API 往端侧与开源权重两端同时移动。

资讯来源:ithome.com