HunyuanCustom - 腾讯混元开源的多模态定制视频生成框架

HunyuanCustom是什么

HunyuanCustom是腾讯混元团队推出的多模态驱动的定制化视频生成框架。图像、音频、视频、文本都能作为输入条件，HunyuanCustom可以生成带特定主体和场景的高质量视频。框架里引入了基于LLaVA的文本-图像融合模块和图像ID增强模块，身份一致性、真实感、文本与视频的对准都比现有方法明显更好。音频驱动和视频驱动两种生成方式都支持，虚拟人广告、虚拟试穿、视频编辑这类场景用得开，可控性和灵活性都在。

HunyuanCustom的主要功能

• 单主体视频定制化：给一张图像加文本描述就能出视频，主体的身份前后对得上。
• 多主体视频定制化：多个主体一起生成也可以，复杂的多主体场景处理得下来。
• 音频驱动视频定制化：按音频和文本描述生成视频，音频驱动的动画玩法比较灵活。
• 视频驱动视频定制化：以视频输入做对象替换或添加，视频编辑、换物这类活能接。
• 虚拟人广告和虚拟试穿：虚拟人和产品互动的广告视频可以生成，试穿展示也能做。
• 灵活的场景生成：一段文本描述就能出不同场景的视频，内容创作的形式多一些。

HunyuanCustom的技术原理

• 多模态融合模块：
  • 文本图像融合模块：走LLaVA的路子，把图像里的身份信息和文本描述融在一起，多模态理解能力更强。
  • 图像 ID 增强模块：沿时间轴做信息拼接，借视频模型的时间建模能力把主体身份特征加强，生成视频时身份不会飘。
• 音频驱动机制：AudioNet模块用空间交叉注意力机制，把音频特征注入视频特征，音频和视频按层次对齐，音频驱动的视频生成就是这么来的。
• 视频驱动机制：输入视频先由VAE压到潜在空间，再靠patchify模块做特征对齐，保证和噪声潜变量的特征一致。
• 身份解耦模块：视频条件模块做的是身份解耦，把视频特征高效注进潜在空间，视频驱动的视频生成走得通。
• 数据处理与增强：预处理有一套严格的流程，视频分割、文本过滤、主体提取、数据增强都在内，喂进去的数据质量有保证，模型性能也跟着上去。

HunyuanCustom的项目地址

• 项目官网：https://hunyuancustom.github.io/
• GitHub仓库：https://github.com/Tencent/HunyuanCustom
• HuggingFace模型库：https://huggingface.co/tencent/HunyuanCustom
• arXiv技术论文：https://arxiv.org/pdf/2505.04512v1

HunyuanCustom的应用场景

• 虚拟人广告：虚拟人和产品同框的广告视频直接生成，片子更抓眼球。
• 虚拟试穿：照片传上去就能出试穿不同服装的视频，买东西时更直观。
• 视频编辑：视频里的对象能替换也能添加，编辑时可发挥的空间更大。
• 音频驱动动画：音频进来就出同步的视频动画，虚拟直播、动画制作都能用。
• 教育视频：文本配图像生成教学视频，学生更容易看进去。