Step-Video-T2V - 阶跃星辰开源的文本到视频模型

Step-Video-T2V是什么

Step-Video-T2V 是阶跃星辰团队推出的开源文本到视频预训练模型，300 亿参数，能生成长达 204 帧的高质量视频。压缩这块用的是深度压缩的变分自编码器（Video-VAE），空间压 16×16、时间压 8×，训练和推理的效率都提了不少。Step-Video-T2V 配了双语文本编码器，中英文提示都能输入，之后再用直接偏好优化（DPO）把视频质量往上带一档。架构是扩散 Transformer（DiT）加 3D 全注意力，运动幅度大、画面讲究的视频正是它的长项。

Step-Video-T2V的主要功能

• 高质量视频生成：Step-Video-T2V 有 300 亿参数，能生成长达 204 帧的高质量视频，分辨率支持到 544×992。
• 双语文本支持：双语文本编码器是标配，中英文提示词直接写，生成的视频跟描述基本对得上。
• 动态与美学优化：3D 全注意力的 DiT 架构，训练用 Flow Matching，出来的视频动感足，画面也好看。

Step-Video-T2V的技术原理

• 深度压缩的变分自编码器（Video-VAE）：Step-Video-T2V 用的深度压缩变分自编码器（Video-VAE）做到了 16×16 的空间压缩和 8× 的时间压缩，视频生成的计算复杂度降下来，重建质量还保持得不错。
• 双语文本编码器：Step-Video-T2V 配了两个预训练的双语文本编码器，中文和英文提示都接得住。中英文输入不用翻译，直接理解，出来的视频跟文字描述对得上。
• 基于扩散的 Transformer（DiT）架构：Step-Video-T2V 的架构是扩散 Transformer（DiT），里面带 3D 全注意力。训练走 Flow Matching，输入噪声一步步去噪成潜在帧，条件是文本嵌入和时间步。运动动态强、美学质量高的视频，它生成得比较好。
• 直接偏好优化（DPO）：为了把视频质量再往上提，Step-Video-T2V 加了视频直接偏好优化（Video-DPO）。DPO 拿人类偏好数据微调模型，伪影少了，观感好了，画面也更平滑、更接近真实。
• 级联训练策略：训练是级联着来的：文本到图像（T2I）预训练、文本到视频/图像（T2VI）预训练、文本到视频（T2V）微调，最后是直接偏好优化（DPO）训练。收敛速度因此快了不少，各种质量的视频数据也都能用上。
• 系统优化：Step-Video-T2V 在系统层面也动过刀：张量并行、序列并行、Zero1 优化，分布式训练跑得更顺。通信用了高性能框架 StepRPC，监控用了双层的 StepTelemetry，数据传输效率和瓶颈定位都受益。

Step-Video-T2V的项目地址

• Github仓库：https://github.com/stepfun-ai/Step-Video-T2V
• HuggingFace模型库：https://huggingface.co/stepfun-ai/stepvideo-t2v
• arXiv技术论文：https://arxiv.org/pdf/2502.10248

Step-Video-T2V的应用场景

• 视频内容创作：写段提示词，Step-Video-T2V 就能出创意视频，创作者省下时间和精力，做视频的门槛也低了。
• 广告制作：品牌和广告商可以用它做个性化视频广告，内容更对受众胃口，传播效果也好一些。
• 教育与培训：Step-Video-T2V 也能生成教学视频，学生理解、记忆知识点都更省力。
• 娱乐与影视：影视制作可以拿它出创意素材，特效、动画、短剧片段都能生成，创作流程快了不少。
• 社交媒体：普通用户也能用 Step-Video-T2V 做自己的视频，社交平台的内容因此更丰富，互动也跟着多起来。生成的片子直接发出去做创意分享就行。