SkyReels-V2 - 昆仑万维开源的无限时长电影生成模型

SkyReels-V2是什么

SkyReels-V2 是昆仑万维 SkyReels 团队推出的无限时长电影生成模型，底座是扩散强迫（Diffusion-forcing）框架，再叠上多模态大语言模型（MLLM）、多阶段预训练和强化学习，生成的是高质量、时长不设上限的视频。SkyReels-V2 主要解决老模型在提示词遵循、视觉质量、运动动态和视频时长协调上的问题，故事生成、图像到视频合成、摄像导演、多主体一致性视频生成这些场景都支持。模型和代码已经开源，创意内容制作和虚拟仿真可以直接拿来用。

SkyReels-V2的主要功能

• 无限时长视频生成：理论上能生成无限长的视频，传统模型卡在时长上的限制被绕开了。
• 故事生成：按叙事文本的提示编排复杂的多动作序列，把故事动态讲出来。
• 图像到视频合成：两种路子：一是微调全序列文本到视频扩散模型（SkyReels-V2-I2V），二是把扩散强迫模型和帧条件结合（SkyReels-V2-DF），静态图像都能变成连贯视频。
• 摄像导演功能：摄像机运动可以生成得流畅、多样，视频的影视感更足。
• 元素到视频生成：人物、物体、背景这些视觉元素可以随意组合，按文本提示串成连贯视频，短剧、音乐视频、虚拟电商内容都用得上。

SkyReels-V2的技术原理

• 多模态大语言模型（MLLM）：先用多模态大语言模型写出视频的初始描述，再由子专家模型（镜头类型、镜头角度、镜头位置、表情、摄像机运动等）补上更细的镜头语言。再加上人工标注和模型训练，模型对镜头语言的理解更到位，生成时对提示词的遵循也更好。
• 多阶段预训练：
  • 渐进式分辨率预训练：分辨率从 256p 一路提到 720p，模型生成能力跟着往上走。
  • 多阶段后训练优化：先是概念平衡的监督微调（SFT），再做运动相关的强化学习（RL）、扩散强迫框架（DF）训练，最后来一轮高质量 SFT，各个环节的性能都照顾到。
• 强化学习（Reinforcement Learning, RL）：运动质量靠强化学习来优化，现有模型在动态性、流畅性和物理合理性上的短板能补一补。半自动的数据管道生成偏好对比数据对，拿来训奖励模型，再做直接偏好优化（DPO）。
• 扩散强迫框架（Diffusion Forcing）：每一帧分配独立的噪声水平，视频生成因此能无限往外扩。噪声时间表是非递减的，连续帧的去噪时间表搜索空间从_O_(1 e 48)降到_O_(1 e 32)，生成效率提升明显。
• 高效的数据处理和优化：训练数据来自通用数据集、自收集媒体和艺术资源库，经过多阶段过滤和标注，质量有保证。推理侧用了 FP8 量化、多 GPU 并行和模型蒸馏，推理时间和计算成本都压下来。

SkyReels-V2的项目地址

• GitHub仓库：https://github.com/SkyworkAI/SkyReels-V2
• HuggingFace模型库：https://huggingface.co/collections/Skywork/skyreels-v2
• arXiv技术论文：https://arxiv.org/pdf/2504.13074

SkyReels-V2的应用场景

• 电影制作：无限时长的连贯视频，复杂叙事和长镜头创作正好需要。
• 广告创作：静态图转成动态视频，广告的吸引力和表现力都强一些。
• 视频拍摄辅助：流畅的摄像机运动可以生成，复杂镜头的设计和实现省事不少。
• 短剧和音乐视频：视频出得快，拍摄的成本和时间都省下来。
• 虚拟现实和游戏开发：逼真的虚拟场景和角色动画都能生成，体验和沉浸感更好。