FunClip - 阿里达摩院开源的AI自动视频剪辑工具

FunClip是什么

FunClip是阿里达摩院通义实验室推出的一款完全开源、本地部署的自动化视频剪辑工具，底层的语音识别靠阿里巴巴通义实验室的 FunASR Paraformer 系列模型。识别结果出来后，挑文本片段或指定说话人，就能裁出想要的视频段落。它的几项特色：集成精度较高的中文 ASR 模型，支持热词定制和说话人识别，还带一个 Gradio 交互界面，剪辑操作因此简单不少。另外，多段剪辑也支持，SRT 字幕文件能自动生成。

FunClip的主要功能

• 自动化语音识别：调用阿里巴巴通义实验室的 FunASR Paraformer 系列模型，对视频做语音识别，把语音转成文字。
• 热词定制化：集成了 SeACo-Paraformer 模型，用户可以指定实体词、人名等作为热词，特定词汇的识别准确率会高一些。
• 说话人识别：集成 CAM++ 说话人识别模型，自动识别出说话人 ID 后，可以按 ID 裁出某个人的片段。
• 视频裁剪：在识别结果里选文本片段，或者指定说话人，点一下裁剪按钮就能拿到对应片段。
• Gradio交互界面：界面用 Gradio 搭，剪辑流程简化了不少；服务端起好服务，浏览器里就能操作。
• 多段剪辑支持：FunClip 支持多段剪辑，编辑起来更灵活。
• 自动生成字幕：剪完之后，全视频和目标段落的 SRT 字幕文件都能自动生成，添加或编辑字幕省事。
• 命令行调用：图形界面之外，FunClip 也支持命令行做视频识别和裁剪，用法更灵活。

FunClip的官网入口

• 官方GitHub源码地址：https://github.com/alibaba-damo-academy/FunClip
• ModelScope魔搭社区在线Demo：https://modelscope.cn/studios/iic/funasr_app_clipvideo/summary

如何使用FunClip

方法一：本地部署Gradio版本

确认电脑上装好了 Python 和 Git，再打开终端，依次运行下面几条命令

git clone https://github.com/alibaba-damo-academy/FunClip.git

cd FunClip && pip install -r ./requirements.txt

python funclip/launch.py

跑完后在浏览器打开localhost:7860就能用上 FunClip 了

方法二：在线体验魔搭社区Demo

访问魔搭社区提供的在线Demo，再按下面的步骤操作：

1. 上传视频或音频文件（也可以直接用下方的用例），然后点「识别」
2. 把识别结果里需要的文字复制到右上方，或者设置说话人标识，再按需调整偏移和字幕配置（可选）
3. 点「裁剪」或「裁剪并添加字幕」，结果就出来了

方法三：命令行运行相关指令

打开终端，依次运行下面的命令

# 1. 克隆GitHub源代码
git clone https://github.com/alibaba-damo-academy/FunClip.git
# 2. 安装Python依赖
cd FunClip && pip install -r ./requirments.txt
# 3. 添加视频进行识别
python funclip/videoclipper.py --stage 1 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output
# ./output/目录下将输出识别结果和.srt字幕文件
# 4. 裁剪命令
python funclip/videoclipper.py --stage 2 \
--file examples/2022云栖大会_片段.mp4 \
--output_dir ./output \
--dest_text '我们把它跟乡村振兴去结合起来，利用我们的设计的能力' \
--start_ost 0 \
--end_ost 100 \
--output_file './output/res.mp4'