英伟达开源语音模型 Nemotron 3.5 Transcribe:40 种语言转录,8 人同时说话可分角色
发布于
英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开训练数据管线 Granary v2。模型采用混合专家架构,总参数约 340 亿、激活约 43 亿,可处理最长 1 小时录音,支持 40 种语言转录。在 Hugging Face Open ASR Leaderboard 英语组它以 5.33% 的平均词错误率位居开放权重模型第一,Artificial Analysis 非流式误差指数为 2.8%。
差异点在说话人处理:模型最多区分 8 名说话人,支持 13 种语言的说话人标注,能在生成文本时同步标出每段发言归属,官方用 1940 年电影里大量重叠对白的场景做了演示;它在 David AI 的 21 种语言说话人分离基准上录得 18.26% 的错误率。Granary v2 覆盖 463,062 小时音频、48 种语言。
模型已在 Hugging Face 与 ModelScope 免费开放,采用 OpenMDW-1.1 许可证,量化版本后续发布后可跑在 RTX Spark、DGX Spark 等本地设备上。对做会议纪要、多语言客服和离线语音应用的企业来说,开放权重加上公开数据管线,意味着这段链路不必再绑定闭源 API。
资讯来源:IT之家(引述英伟达)