VACE - 阿里通义推出的视频生成与编辑框架

VACE是什么

VACE（Video Creation and Editing）是一个由阿里巴巴通义实验室推出的统一视频生成与编辑框架。参考视频生成、视频到视频编辑、遮罩编辑这些视频任务被整合进同一个模型，创作和编辑的效率都提了上来。VACE 的核心是 Video Condition Unit（VCU）：文本、图像、视频、遮罩等多模态输入统一装进一个条件单元，各项任务可以灵活组合。开源的 Wan2.1-VACE-1.3B 支持 480P 分辨率，Wan2.1-VACE-14B 支持 480P 和 720P。实验显示，VACE 在多种任务上能做到和特定任务模型相当的性能，视频创作的空间因此大了不少。

VACE的主要功能

• 文本到视频生成：给一段文本提示，就能出视频。
• 参考到视频生成：文本配上一张参考图，结合两者生成视频。
• 视频扩展：拿现有视频片段，往前或往后补出新的开头、结尾。
• 视频到视频编辑：给视频整体换风格，色彩化、风格化都属于这类。
• 遮罩视频编辑：只动你指定的区域，比如修复（Inpainting）、扩展（Outpainting）。
• 主体移除与重建：把画面里某个特定主体去掉，背景自动补全。
• 任务组合与创新：多种任务能拼出新玩法，比如参考生成+主体替换、姿态控制+视频扩展；姿态、深度、光流这些条件也能用来控制生成。

VACE的技术原理

• Video Condition Unit（VCU）：VCU 是 VACE 的核心输入接口，文本、图像、视频、遮罩各路输入都由它整合，按统一格式喂给模型，任务自然能随便组合。
• Context Adapter结构：靠 Context Adapter 把不同任务的概念（编辑区域、参考内容这些）注入模型，时间和空间维度都做了形式化表示，什么任务都能适配。
• 扩散模型：底座是扩散模型（如 Diffusion Transformer），一步步去噪，生成高质量视频。
• 多模态输入处理：文本、图像、视频、遮罩都能喂进来，各走各的编码器映射到统一特征空间。比如视频输入交给视频 VAE（Variational Autoencoder），局部编辑靠分割和掩码操作。
• 训练与优化策略：训练是循序渐进的：先做修复、扩展这些基础任务，再扩到组合任务这类复杂活。全模型微调和上下文适配器微调都支持，后者收敛更快，功能还能像插件一样拆装。

VACE的项目地址

• 项目官网：https://ali-vilab.github.io/VACE-Page/
• GitHub仓库：https://github.com/ali-vilab/VACE
• HuggingFace模型库：https://huggingface.co/collections/ali-vilab/vace
• arXiv技术论文：https://arxiv.org/pdf/2503.07598

VACE的应用场景

• 创意视频生成：给文本或图片，广告、动画这类创意视频很快就能出。
• 视频修复与增强：老视频能修复，画面缺的部分能补上，风格也能往上升。
• 高效视频编辑：主体替换、加动画这类复杂编辑也接得住。
• 视频扩展：给短视频补一段新片段，把内容拉长。
• 互动视频创作：用户给出姿态、草图之类的输入，就能生成个性化的视频。