Step-Video-TI2V - 阶跃星辰开源的图生视频模型

Step-Video-TI2V是什么

Step-Video-TI2V 是阶跃星辰（StepFun）开源的图生视频（Image-to-Video）模型，300 亿参数，给一段文本描述加一张图，就能生成最长 102 帧的视频。底座是深度压缩的变分自编码器（Video-VAE），空间压缩 16×16、时间压缩 8×，训练和推理都快了不少。动态性和稳定性之间的平衡，靠运动分数（motion score）来调。镜头运动也支持，推、拉、摇、移、旋转、跟随都行。

Step-Video-TI2V的主要功能

• 图生视频生成：用户可以提供一张图片和相关的文本描述，模型会根据这些输入生成一段连贯的视频。
• 高质量视频输出：支持生成最多 102 帧、5 秒、540P 分辨率的视频，能满足多种创作需求。
• 动态性调节：用户可以通过设置运动分数（motion score）来控制视频的动态性。例如，运动分数为 2 时，视频更稳定但动态性较差；运动分数为 10 或 20 时，视频的动态性更强。
• 平衡动态与稳定：动多少、稳多少，调运动分数就能定。
• 镜头运动控制：支持多种运镜方式，包括固定镜头、上下左右移动、上下左右摇、放大缩小、推进拉远、旋转、环绕以及焦点转移等。
• 电影级运镜效果：复杂的运镜能做出电影那味儿，专业创作够用。
• 动漫效果优化：动漫风格是它的强项，虚化背景、动态动作这些效果都能出，动画创作和短视频制作都用得上。
• 灵活的视频尺寸：横屏、竖屏、方屏都支持，按创作需求和平台要求挑尺寸就行。
• 多语言支持：配备双语文本编码器，支持中英文提示输入，方便不同语言背景的用户使用。
• 特效生成能力：特效生成算是刚起步，后面还会继续优化。

Step-Video-TI2V的技术原理

• 深度压缩的变分自编码器（Video-VAE）：Step-Video-TI2V 用的是深度压缩的变分自编码器（Video-VAE），把空间压缩做到 16×16、时间压缩做到 8×，视频生成的计算复杂度降了一大截，重建质量还在。Video-VAE 用的是双路径架构，高低频信息分开处理，生成效果又精了一点。
• 基于扩散的 Transformer（DiT）架构：模型是扩散 Transformer（DiT）架构，带 3D 全注意力。训练用 Flow Matching，把输入噪声一步步去成潜在帧，文本嵌入和时间步作为条件。运动幅度大、画面好看的视频，这种架构生成起来正合适。
• 双语文本编码器：Step-Video-TI2V 的双语文本编码器让中英文提示都能直接进，生成的视频和文字描述对得上。
• 直接偏好优化（DPO）：视频质量这块，Step-Video-TI2V 用了视频直接偏好优化（Video-DPO）：拿人类偏好数据微调，伪影少了，画面更顺、更真。
• 级联训练策略：训练是级联的：先文本到图像（T2I）预训练，再文本到视频/图像（T2VI）预训练，然后文本到视频（T2V）微调，最后做直接偏好优化（DPO）。收敛更快，各种质量的视频数据也都用上了。
• 系统优化：系统层面，Step-Video-TI2V 也做了优化：张量并行、序列并行、Zero1，分布式训练跑得更高效。通信框架 StepRPC 和双层监控 StepTelemetry 负责把传输效率提上去，性能瓶颈也更容易找出来。

Step-Video-TI2V的项目地址

• Github仓库：https://github.com/stepfun-ai/Step-Video-TI2V
• HuggingFace模型库：https://huggingface.co/stepfun-ai/stepvideo-ti2v
• arXiv技术论文：https://arxiv.org/pdf/2503.11251

如何使用Step-Video-TI2V

• 访问跃问视频：访问跃问视频的官方网站或App端。
• 操作步骤：上传图片、写文本描述，按需调参数（运动分数之类），点生成，然后下载或分享。

Step-Video-TI2V的应用场景

• 动画制作：动漫风格是 Step-Video-TI2V 的拿手戏，给图和描述，能出流畅的动画。
• 短视频制作：模型支持多种运镜方式，如推拉摇移、旋转、环绕等，能生成具有电影级效果的短视频。
• 动作教学：Step-Video-TI2V 可以生成复杂动态场景，如体育动作教学、舞蹈教学等。
• 特效制作：画面既有美感又真实，电影、电视剧、游戏里的特效制作能用上。
• 产品展示：Step-Video-TI2V 也能生成广告视频，产品卖点、品牌故事都能装进去。