ViiTorVoice - 云上曲率推出的 AI 语音合成模型

发布于 2026-07-02 · ViiTorVoice 是云上曲率推出的全球首个支持局部编辑的 AI 语音合成模型,登顶 Seed-TTS 权威评测榜首。它采用 NAR 非自回归架构,实现"像改 Word 一样修语音"——可定向替换音频中的某个词或片段,其余音色、节奏、情感完全保持不变。

ViiTorVoice是什么

ViiTorVoice 是云上曲率推出的全球首个支持局部编辑的 AI 语音合成模型,登顶了 Seed-TTS 权威评测。它用 NAR 非自回归架构,”像改 Word 一样修语音”——指定音频里的某个词或片段替换掉,其余音色、节奏、情感一点不动。无文本的跨语种克隆、情绪控制都支持,推理延迟低到 60ms,1B 参数模型已经开源。

ViiTorVoice

ViiTorVoice的主要功能

  • 片段级局部编辑:指定音频里的某个词或片段替换掉,其余部分原样不动。
  • 语音克隆:无参考文本(Zero-Shot)也能做跨语种克隆,传一段纯音频上去,音色就提出来了。
  • 情绪与副语言控制:插入特殊 Token 就能做到词级控制,情绪表达则靠 CFG 技术加强。
  • 低延迟推理:端到端首帧生成时间不到 60ms,首块推理也能跑。
  • 多语种支持:中、英、日、韩等多语种的语音都能生成。
竹江AI导航

如何使用ViiTorVoice

  • 访问 Demo 页面:打开 Hugging Face 上的在线体验地址(https://huggingface.co/spaces/ZzWater/ViiTorVoice)。
  • 选择功能模式:在界面顶部切换「Voice Edit」(局部编辑)或「Voice Clone」(语音克隆)标签。
  • 上传源音频:把要编辑或克隆的原始音频拖到左侧「Source Audio」上传区域。
  • 输入文本指令:编辑框里分别填原始转录文本和改好的目标文本,系统会自己找出差异片段。
  • 插入情绪标签:如需控制情感,在文本中插入特殊 Token(如 <laugh>、<sigh>)来标记副语言信息。
  • 调整生成参数:推理步数(4 步或 8 步)这些参数设好,点生成,等模型处理。
  • 预览与下载:右边「Edited Audio」区域能试听效果,没问题就下载存到本地。

ViiTorVoice的核心优势

  • 评测成绩全球第一:Seed-TTS 英文词错率 1.32、中文词错率 0.99,SIM-o 和 UTMOS 两项也都领先。
  • 独创局部编辑能力:片段级定向编辑目前只有它支持,传统 TTS 改一个词就得整段重录的问题就此绕开。
  • 无文本依赖克隆:转录文本不必准确,跨语种的音色迁移也能做,小语种场景尤其合适。
  • 极速推理:首帧延迟在 60ms 以内,行业普遍是 150-200ms,差距明显。

ViiTorVoice的项目地址

  • GitHub仓库:https://github.com/viitor-ai/viitor-voice-nar
  • HuggingFace模型库:https://huggingface.co/ZzWater/ViiTorVoice-NAR

ViiTorVoice的同类竞品对比

对比维度 ViiTorVoice Qwen3-TTS
研发方 云上曲率 阿里巴巴通义实验室
核心架构 NAR 非自回归(完形填空式) AR 自回归(逐帧链式生成)
局部编辑 ✅ 支持片段级定向修改,改词不改全段 ❌ 不支持,修改一词需整段重生成
Seed-TTS 英文 WER 1.32(更低=更准) 1.54
Seed-TTS 中文 WER 0.99(行业首个<1.0) 1.15
首帧延迟 <60ms ~150-200ms
无文本克隆 ✅ 仅需纯音频即可跨语种克隆 ❌ 需提供音频+准确转录文本
情绪控制 词级 Token 精准控制(笑声/叹气等) 基础自然语言描述控制

ViiTorVoice的应用场景

  • 影视后期制作:改对白不用再把演员叫回录音棚,导演在非线性时间线上直接替换台词,音色和呼吸节奏都能对上。
  • 有声书与播客:录的时候念错字、专有名词读错了,只要改那一两秒,整章不用重录。后期修音从几天缩到几十分钟。
  • 短剧出海本地化:配音演员不用重新集合,在原始录音上替换特定用词,多语言版本就出来了,每一版听着都像原生表演。
  • 广告营销:产品名或 Slogan 临时要改,直接替换那一小段音频,品牌音色和情绪都不丢。
  • 游戏配音:角色语音跨语种克隆很快,传一段原声,中、英、日、韩等多语种配音就能生成。
0

相关文章

0 条评论

后参与评论

暂无评论,来抢沙发。