Open-Sora 2.0 - 潞晨科技开源的AI视频生成模型

发布于 2025-03-13 · Open-Sora 2.0 是潞晨科技推出的全新开源SOTA（State-of-the-Art）视频生成模型。Open-Sora 2.0 用 20 万美元（224 张 GPU）成功训练出 11B 参数的商业级模型，相比传统高性能视频生成模型大幅降低了训练成本。

Open-Sora 2.0是什么

Open-Sora 2.0 是潞晨科技新推出的开源 SOTA（State-of-the-Art）视频生成模型。Open-Sora 2.0 花了 20 万美元、224 张 GPU，训出 11B 参数的商业级模型，跟传统的高性能视频生成模型比，训练成本低了一大截。在 VBench 和用户偏好测试里，它的成绩能跟 HunyuanVideo 和 30B 参数的 Step-Video 等主流闭源模型打平甚至反超。架构上，Open-Sora 2.0 用 3D 自编码器、3D 全注意力机制和 MMDiT，配上高效的并行训练方案和高压缩比自编码器，训练效率和推理速度都提上来了。

Open-Sora 2.0的主要功能

高质量视频生成：能生成 720p、24 FPS 的视频，画面流畅，自然风光到复杂动态场景都能应付。
动作幅度可控：人物或物体的动作幅度可以按需求调，动态表现更细、更准。
文本到视频（T2V）生成：一段文字描述，直接生成对应的视频，创意视频和内容生产都用得上。
图像到视频（I2V）生成：接上开源图像模型，从一张图往下生成视频，效果和多样性都能再往前走一步。

Open-Sora 2.0的技术原理

模型架构：三维自编码器负责高效处理视频数据，把时间维度上的动态信息抓住；全注意力机制让生成的视频在时空上更一致；多模态扩散（MMDiT）架构则把文本和视频内容对得更准。
高压缩比自编码器：自编码器的压缩比做到 4×32×32，推理成本降了不少。
高效训练方法：数据筛选分多个阶段、多个层次，先把高质量数据挑出来，训练效率跟着提高。训练先跑低分辨率，学关键动态特征，再逐步提分辨率，计算开销省下很多。图生视频任务也被排在前面，用图像特征带视频生成，模型收敛更快。
并行训练与优化：ColossalAI 加系统级优化，把计算资源用得更满。序列并行、ZeroDP、细粒度 Gradient Checkpointing、自动恢复机制、高效数据加载与内存管理这些手段都上了，训练效率尽量拉高。
模型初始化与蒸馏：用开源图生视频模型 FLUX 做初始化，训练成本压下来；蒸馏的优化策略让自编码器特征空间更能表达，需要的数据量和时间都少了。

Open-Sora 2.0的性能表现

媲美 HunyuanVideo 和 30B Step-Video：Open-Sora 2.0 只有 11B 参数，在 VBench 和人工偏好测试里的水平，已经能跟高成本开发的主流闭源大模型（比如 HunyuanVideo 和 30B 参数的 Step-Video）掰手腕。
用户偏好评测：视觉表现、文本一致性、动作表现这三个关键维度里，Open-Sora 2.0 至少有两项超过开源 SOTA 模型 HunyuanVideo 和商业模型 Runway Gen-3 Alpha，资源花得更少，成绩反而更好。
VBench 指标表现强势：视频生成权威榜单 VBench 的评测里，Open-Sora 2.0 的成绩相当亮眼。从 Open-Sora 1.2 升到 2.0 之后，它跟行业领先的闭源模型 OpenAI Sora 之间的性能差距从 4.52% 缩到 0.69%，几乎追平。Open-Sora 2.0 的评测分数还超过了腾讯的 HunyuanVideo，训练成本更低，性能反而更高，开源视频生成这块算是立了个新标杆。

Open-Sora 2.0的项目地址

GitHub仓库：https://github.com/hpcaitech/Open-Sora
技术论文：https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2

Open-Sora 2.0的生成效果

提示词：A tomato surfing on a piece of lettuce down a waterfall of ranch dressing, with exaggerated surfing moves and creamy wave effects to highlight the 3D animated fun.（一颗番茄在一片生菜上冲浪，顺着牧场酱汁的瀑布而下，夸张的冲浪动作和柔滑的波浪效果凸显了 3D 动画的乐趣。）

提示词：A drone camera circles a historic church on a rocky outcrop along the Amalfi Coast, highlighting its stunning architecture, tiered patios, and the dramatic coastal views with waves crashing below and people enjoying the scene in the warm afternoon light.（一架无人机摄像机围绕着阿马尔菲海岸岩石露头上的一座历史悠久的教堂飞行，突显了其令人惊叹的建筑、分层的庭院和壮观的海岸景色，海浪拍打在教堂下方，人们在温暖的午后阳光下欣赏着这美丽的景色。）

提示词：A scene from disaster movie.（灾难片中的场景。）

提示词：Chinese ancient style, realism. A young woman, dressed in an embroidered red qipao, walks along the ancient streets of a bustling Chinese town. The red lanterns hanging above her sway gently in the evening breeze, and her calm, confident stride contrasts with the lively atmosphere of merchants and performers around her.（中国古风写实。一位身着绣花红旗袍的年轻女子走在繁华的中国小镇的古老街道上。头顶上悬挂的红灯笼在晚风中轻轻摇曳，她从容自信的步伐与周围商贩和艺人的热闹氛围形成鲜明对比。）

如何使用Open-Sora 2.0

从源代码安装：
- 创建虚拟环境（推荐使用 Conda）：

conda create -n opensora python=3.9
conda activate opensora

- 克隆仓库：

git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

- 安装依赖：
  - 根据你的 CUDA 版本（例如 CUDA 12.1），安装基础依赖：

pip install -r requirements/requirements-cu121.txt

- - 安装项目：

pip install -v .  # 或使用开发模式：pip install -v -e .

- - 安装加速相关的依赖（可选，但推荐）：

pip install git+https://github.com/hpcaitech/TensorNVMe.git
pip install git+https://github.com/hpcaitech/ColossalAI.git
pip install packaging ninja
pip install flash-attn --no-build-isolation
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

使用 Docker 安装：
- 构建 Docker 镜像：

docker build -t opensora .

- 运行 Docker 容器（确保挂载 GPU 和工作目录）：

docker run -ti --gpus all -v .:/workspace/Open-Sora opensora

Open-Sora 2.0的应用场景

频制作：广告、动画这类创意视频出得快，制作成本也低。
影视后期：特效镜头和虚拟场景可以辅助生成，后期制作省时间。
教育领域：教育视频能直接生成，讲课的趣味性和效果都能加分。
游戏开发：游戏动画和虚拟场景也能生成，内容更丰富。
VR/AR 应用：沉浸式虚拟场景可以搭出来，体验更完整。