Linly-Dubbing - 开源AI视频工具，支持配音、翻译、对口型

Linly-Dubbing是什么

Linly-Dubbing是一个开源AI视频翻译和配音工具，支持配音、翻译、对口型，能自动把视频内容翻成多种语言并生成字幕。语音识别交给WhisperX和FunASR，语音合成用Edge TTS、XTTS 和 CosyVoice 这些技术，字幕翻译则通过OpenAI API和Qwen模型等完成，再配合声音分离和口型同步，配出来的声音听着自然，对口型准确。用户传上视频，选好目标语言，就能得到一套个性化的多语言配音，把视频推给不同语言观众这件事，门槛低了不少。

Linly-Dubbing的主要功能

• 多语言支持：除了中文，还支持其他多种语言的配音和字幕翻译，面向不同语言的受众。
• AI语音识别：靠WhisperX和FunASR把语音转成文本，转写得比较准，还能分辨出是谁在说话。
• AI语音合成：接入了Edge TTS、XTTS和CosyVoice等工具，念出来的语音接近真人，也支持声音克隆。
• AI字幕翻译：调用OpenAI API、Qwen模型和Google Translate来做翻译，译文读着顺，意思也不容易跑偏。
• 声音分离：能把人声和伴奏拆开，做视频后期时省事不少。
• 口型同步：借助Linly-Talker技术，让虚拟角色的口型跟配音对上，画面看着更可信。
• 视频处理：上传视频后可以自己调字幕、背景音乐、音量和播放速度，成品更耐看。

如何使用Linly-Dubbing

• 环境准备：电脑上先装好Python环境。再装好要用的依赖库和工具。
• 获取代码：访问Linly-Dubbing的GitHub仓库。把项目源码克隆或下载到本地。
• 安装依赖：照着项目文档的说明，把需要的Python依赖包装齐。
• 配置环境：配好环境变量，比如API密钥、模型路径这些。
• 下载AI模型：下载并加载要用的AI模型，语音识别、翻译、语音合成的都在里面。
• 使用Web界面：把项目的Web用户界面跑起来。
• 上传视频：在界面里上传准备翻译和配音的视频文件。

Linly-Dubbing的项目地址

• Github仓库：https://github.com/Kedreamix/Linly-Dubbing

Linly-Dubbing的使用人群

• 内容创作者：想把视频翻成不同语言、吸引各地观众的个人或小团队。
• 教育机构：要把教学材料做本地化、给不同国家学生用的学校和在线教育平台。
• 视频制作公司：给影视、动画、纪录片补多语言配音的制作团队。
• 企业市场部门：要把产品介绍、培训材料翻成多种语言、往国外市场铺的企业。
• 社交媒体博主：想在不同语言的区域多攒粉丝、让互动更活跃的内容作者。