混元图生视频 - 腾讯混元开源的图生视频模型

混元图生视频是什么

混元图生视频是腾讯混元开源的一个图生视频模型。传一张图片、写一句简短描述，图片就能动起来，生成 5 秒的短视频。模型支持对口型、动作驱动和背景音效自动生成等功能。写实、动漫、CGI 等多种角色和场景都能覆盖，总参数量 130 亿。腾讯混元图生视频模型已经在腾讯云上线，在混元AI视频官网就能体验。Github、HuggingFace 等开发者社区也能拿到开源版本，权重、推理代码和 LoRA 训练代码都齐，开发者可以拿它训练自己的 LoRA 衍生模型。

混元图生视频的主要功能

• 图生视频生成：上传一张图片、配一段简短描述，静态图片就变成 5 秒的短视频，背景音效也能自动生成。
• 音频驱动功能：上传人物图片，再给文本或音频，模型会把嘴型对上去，图里的人就能“说话”“唱歌”，表情也跟着语气走。
• 动作驱动功能：上传图片后挑一个动作模板，人物就能跳舞、挥手、做体操，短视频创作、游戏角色动画和影视制作都能用。
• 高质量视频输出：最高 2K 画质，写实、动漫、CGI 各种角色和场景都撑得住。

混元图生视频的技术原理

• 图像到视频的生成框架：HunyuanVideo-I2V 用图像潜在拼接，把参考图像的信息带进视频生成。输入图像先交给预训练的多模态大型语言模型（MLLM），得到语义图像token，再和视频潜在token 拼在一起，做跨模态的全注意力计算。
• 多模态大型语言模型（MLLM）：文本编码器用的是 Decoder-only 结构的 MLLM，对输入图像语义内容的理解强了不少。跟传统的 CLIP 或 T5 比，MLLM 在图像细节描述和复杂推理上更在行，图像和文本描述能融得更深。
• 3D变分自编码器（3D VAE）：视频和图像数据量太大，HunyuanVideo-I2V 用 CausalConv3D 训练了一个 3D VAE，把像素空间里的内容压进紧凑的潜在空间。后续模型的token 数量因此少了很多，训练也能在原始分辨率和帧率下进行。
• 双流转单流的混合模型设计：双流阶段，视频和文本token 各走各的 Transformer 块，互不打扰；到了单流阶段，两路token 再连起来做多模态融合。视觉和语义之间的复杂交互就是这样被抓住的，生成的视频更连贯，语义也更一致。
• 渐进式训练策略：训练是渐进式的，从低分辨率、短视频起步，慢慢过渡到高分辨率、长视频。收敛更快，不同分辨率下出来的视频质量也稳。
• 提示词重写模型：用户写的提示词风格、长短都不同，HunyuanVideo-I2V 因此加了提示词重写模块，把输入转成模型更容易读的格式，生成效果会好一些。
• 可定制化LoRA训练：支持 LoRA（Low-Rank Adaptation）训练，开发者用少量数据就能训出带特定效果的模型，比如“头发生长”“人物动作”这类特效。

混元图生视频的项目地址

• Github仓库: https://github.com/Tencent/HunyuanVideo-I2V
• Huggingface模型库：https://huggingface.co/tencent/HunyuanVideo-I2V

如何使用混元图生视频

• 通过混元AI视频官网体验：用户可以直接访问腾讯混元AI视频官网，选图生视频，传一张图片、写句简短描述，5 秒的短视频就出来了。
• 使用腾讯云API接口：企业和开发者可以去腾讯云申请 API，视频生成和定制化开发都能做得更顺。
• 本地部署开源模型：想要更高定制化的用户，可以把 GitHub 上的开源模型拉到本地部署，自己改。
• 硬件要求
  • GPU：NVIDIA 显卡，需支持 CUDA，生成 720p 视频最低 60GB 显存，推荐 80GB。
  • 操作系统：Linux（官方测试环境）。
  • CUDA版本：推荐CUDA 11.8或12.0。

混元图生视频的应用场景

• 创意视频生成：传图片加描述，就能出短视频。
• 特效制作：用 LoRA 训练做定制特效，比如头发生长、人物动作。
• 动画与游戏开发：角色动画出得快，制作成本随之下降。