CogVideoX - 智谱AI推出的开源AI视频生成模型

CogVideoX是什么

CogVideoX 是智谱 AI 最新发布的AI视频生成模型，和智谱 AI 的商业产品“ 清影 ”同源。它支持英文提示词，可生成 6 秒、每秒 8 帧、720*480 分辨率的视频。推理需要 7.8-26GB 显存，目前还不支持量化推理和多卡推理。项目里还有负责视频重建的 3D Causal VAE 组件，以及 CLI/WEB Demo、在线体验、API 接口示例和微调指南这些示例和工具。

CogVideoX的主要功能

• AI文生视频：输入文本提示词，就能生成视频内容。
• 低显存需求：INT8 精度下推理只要 7.8GB 显存，拿 1080 Ti 也能跑。
• 视频参数定制：视频长度、帧率和分辨率都能定制，目前支持 6 秒、8 帧/秒、720*480 分辨率。
• 3D Causal VAE技术：靠 3D Causal VAE 技术来重建视频，效率高。
• 推理与微调：除了用推理生成视频，模型也支持微调，方便适配不同需求。

CogVideoX的技术原理

• 文本到视频生成：CogVideoX 用深度学习模型理解输入的文本提示，再据此生成视频，核心是基于 Transformer 的架构。
• 3D Causal VAE：CogVideoX 用了 3D Causal Variational Autoencoder（变分自编码器）来做视频重建和压缩，重构几乎无损，存储和计算的开销都能降下来。
• 专家Transformer：CogVideoX 用的是专家 Transformer。它让多个专家各管一摊，比如空间信息、时间信息，以及控制信息怎么流动。
• 编码器-解码器架构：在 3D VAE 里，编码器把视频压成精简的代码，解码器再拿这些代码重建视频，潜在空间正则化器则负责让编解码之间的信息传递更准。
• 混合时长训练：训练时把不同时长的视频混在一起，让模型习惯各种长度，泛化能力更强。
• 多阶段训练：训练分几步走：先低分辨率预训练，再高分辨率预训练，最后用高质量视频微调，生成质量和细节逐步往上提。
• 自动和人工评估：自动评估和人工评估一起上，确保生成的视频质量达到预期。

CogVideoX的项目地址

• 智谱清影体验：智谱清影 - 智谱推出的免费AI视频生成工具
• CogVideoX-2B模型地址：
  • HuggingFace模型库：https://huggingface.co/THUDM/CogVideoX-2b
  • 魔搭社区模型库：https://modelscope.cn/models/ZhipuAI/CogVideoX-2b
• CogVideoX-5B模型地址：
  • HuggingFace模型库：https://huggingface.co/spaces/THUDM/CogVideoX-5B
  • 魔搭社区模型库：https://modelscope.cn/models/ZhipuAI/CogVideoX-5b
• GitHub仓库：https://github.com/THUDM/CogVideo
• arXiv技术论文：https://arxiv.org/pdf/2408.06072

CogVideoX-2B 与 CogVideoX-5B参数对比

CogVideoX的性能评估

评估文生视频的质量，用的是 VBench 里的多项指标，比如人类动作、场景、动态程度。另外还加了两个专门看动态特性的工具：Devil 的 Dynamic Quality 和 Chrono-Magic 的 GPT4o-MT Score。结果见下表。

CogVideoX的应用场景

• 创意视频制作：独立创作者和艺术家可以把创意写成文字，很快变成视频画面。
• 教育和培训材料：教育视频可以自动生成，用来解释复杂概念或者演示教学场景。
• 广告和品牌宣传：企业能把广告文案直接交给 CogVideoX，生成对应的视频广告。
• 游戏和娱乐产业：游戏开发者可以用它生成游戏内动画或剧情视频，开发节奏能快不少。
• 电影和视频编辑：剪辑时用文字描述想要的场景或特效，让模型先出一段视频素材。
• 虚拟现实(VR)和增强现实(AR)：给 VR 和 AR 应用生成沉浸式视频内容，互动体验更丰富。