Fish Speech - 开源的高效文本到语音合成TTS工具

发布于 2024-07-03 · Fish Speech是一款由Fish Audio开源的文本到语音（TTS）工具，支持中文、英文和日文。通过约15万小时的多语种数据训练，实现了接近人类水平的语音合成效果，目前已更新到1.2版本。

Fish Speech是什么

Fish Speech是一款由Fish Audio开源的文本到语音（TTS）工具，支持中文、英文和日文。训练数据约 15 万小时、覆盖多种语言，合成效果接近人声，目前更新到 1.2 版本。它的特点是显存占用低（只要 4GB）、推理快、可自定义的地方多，用户很快就能做语音克隆出来，不用自己训练。Fish Speech 还支持多种语音生成模型，比如 VITS2、Bert-VITS2，用在智能助手、自动客服、语言学习这些场景都合适。

Fish Speech的功能特色

高效的文本到语音转换：文本扔进去，很快就能转成听着自然、流畅的语音。声学模型和语言模型都做过优化，自然度和准确率有保证，各种场景下输出都稳。
多语言支持：中文、英文、日文都支持，跨语言的场景不用再单独找工具，面向不同国家和地区的用户也方便。
语音克隆能力：上传一段自己或他人的语音当参考，Fish Speech 用深度学习学这段声音的特征，做出个性化的语音克隆。个性化语音助手、有声书制作这类场景用得上。
低显存需求：4GB 显存就能跑，硬件门槛低了不少，普通人在自己电脑上就能用 Fish Speech，不用再为它添置昂贵的硬件。
快速推理速度：推理过程做过优化，等待时间短，合成效率高，要的语音很快就能拿到。
多种语音生成模型： Fish Speech支持包括VITS2、Bert-VITS2、GPT VITS、MQTTS、GPT Fast和GPT-SoVITS等多种模型，按自己的需求挑一个合适的，合成效果也就有了。
易于使用：安装和配置的流程做了简化，一键启动程序就能开始用，不用先啃技术细节。
微调能力：LORA 微调可以对模型做细调，把语音风格或表达方式往特定方向掰，可发挥的空间更大。
性能优化：用了 gradient checkpointing、causal sampling 和 flash-attn 这些技术，训练和推理的性能提升明显，处理大规模数据时也稳。

Fish Speech的官网入口

官方项目主页：https://speech.fish.audio/
GitHub源码库：https://github.com/fishaudio/fish-speech
Hugging Face模型地址：https://huggingface.co/fishaudio/fish-speech-1.2

如何安装和使用Fish Speech

运行要求

GPU 内存：4GB (用于推理)、16GB (用于微调)
系统：Linux、Windows

Windows配置

Windows 专业用户可以考虑 WSL2 或 docker 来运行代码库。

不熟悉 Windows 配置的，可以走下面这套不需要 Linux 环境的基础流程（带模型编译功能，也就是 torch.compile）：

解压项目压缩包。
点击 install_env.bat 安装环境。
- 编辑 install_env.bat 里的 USE_MIRROR 一项，就能决定要不要从镜像站下载。
- USE_MIRROR=false 就是从原始站下最新稳定版的 torch 环境。USE_MIRROR=true 则是从镜像站下最新的 torch 环境，默认值 true。
- 可以通过编辑 install_env.bat 的 INSTALL_TYPE 一项，决定要不要下载可编译的环境。
- INSTALL_TYPE=preview 下载的是开发版编译环境。INSTALL_TYPE=stable 下载稳定版，不带编译环境。
若第2步 INSTALL_TYPE=preview 则执行这一步（可跳过，此步为激活编译模型环境）
1. 使用如下链接下载 LLVM 编译器。
  - LLVM-17.0.6（原站站点下载）
  - LLVM-17.0.6（镜像站点下载）
  - 下载完 LLVM-17.0.6-win64.exe，双击安装，装到哪自己选，关键是勾上 Add Path to Current User 把环境变量加上。
  - 确认安装完成。
2. 下载并安装 Microsoft Visual C++ 可再发行程序包，潜在的 .dll 丢失问题就解决了。
  - MSVC++ 14.40.33810.0 下载
3. 装个 Visual Studio 社区版，拿到 MSVC++ 编译工具，LLVM 的头文件依赖问题也就解决了。
  - - Visual Studio 下载
    - 装好 Visual Studio Installer 之后，下载 Visual Studio Community 2022
    - 如下图点击修改按钮，找到使用C++的桌面开发项，勾选下载
双击 start.bat，就进了 Fish-Speech 的训练推理配置 WebUI 页面。
- (可选) 想直接进推理页面，就编辑项目根目录下的 API_FLAGS.txt，把前三行改成下面这样：
```
--infer
# --api
# --listen ...
...
```
- (可选) 想启动 API 服务器，编辑项目根目录下的 API_FLAGS.txt，前三行改成这样：
```
--infer
# --api
# --listen ...
...
```
（可选）双击 run_cmd.bat 就能进到本项目的 conda/python 命令行环境。

Linux配置

# 创建一个 python 3.10 虚拟环境, 你也可以用 virtualenv
conda create -n fish-speech python=3.10
conda activate fish-speech

# 安装 pytorch
pip3 install torch torchvision torchaudio

# 安装 fish-speech
pip3 install -e .

# (Ubuntu / Debian 用户) 安装 sox
apt install libsox-dev