SkyReels-V1 - 昆仑万维开源首个面向AI短剧创作的视频生成模型

SkyReels-V1是什么

SkyReels-V1是昆仑万维开源的首个面向AI短剧创作的视频生成模型。它在千万级高质量影视数据上做过微调，能生成影视级的人物微表情和肢体动作：33种细腻表情、400多种自然动作自由组合，真实情感表达还原得到位。模型支持文生视频（Text-to-Video）、图生视频（Image-to-Video），在开源视频生成模型里做到了SOTA水平。SkyReels-V1基于自研推理框架SkyReels-Infer把推理效率提了上来，还做多GPU并行和低显存优化，消费级显卡上也能高效生成高质量视频。

SkyReels-V1的主要功能

• 高质量的影视级视频生成：生成的视频有电影级光影、细腻的人物表情和自然的肢体动作。每一帧的构图、演员站位、相机角度都有影视质感。
• 表情和动作的精细控制：33种细腻表情、400多种自然动作组合任选，大笑、怒吼、惊讶、哭泣这些微表情都能生成。
• 文生视频与图生视频：两种生成方式：Text-to-Video文生视频、Image-to-Video图生视频。
• 多场景支持：单人镜头、多人构图都处理得了，复杂的场景和情感表达也能出。

SkyReels-V1的技术原理

• 自研数据清洗与标注管线：训练用好莱坞电影、电视剧这类高质量影视数据，自研的数据清洗和标注管线把人物表情、动作、场景标注得很细，模型对人类表演的理解更深。
• 多阶段预训练与微调：
  • 阶段1：模型做域适应预训练，把基础模型适配到人类中心的视频领域。
  • 阶段2：把文本到视频模型转成图像到视频模型，在相同数据集上继续预训练。
  • 阶段3：在高质量子集上微调，复杂视频生成任务的表现稳住。
• 多模态理解与生成：表情、动作、场景、剧情一起做多模态理解，靠行为语义单元和人物空间位置感知技术，人物表演生成得精准。
• 高效的推理优化：
  • ：FP8量化、参数级卸载（offload）、优化的注意力机制（如SageAttn）一起上，显存占用降下来，推理速度提上去。
  • ：支持多GPU并行推理，分布式计算把生成效率再推高。

SkyReels-V1的项目地址

• GitHub仓库：https://github.com/SkyworkAI/SkyReels-V1
• HuggingFace模型库：https://huggingface.co/collections/Skywork/skyreels-v1

SkyReels-V1的应用场景

• AI短剧与影视制作：短剧和影视特效低成本高质量产出，制作流程简化，效率变高。
• 虚拟内容：虚拟主播、虚拟偶像这类生动形象可以创建，表情动作都自然。
• 广告与营销：品牌广告视频快速生成，多样化的营销需求能接住。
• 教育培训：做生动的教学视频，语言学习、历史重现、科学演示都能辅助。
• 社交媒体：生成个性化短视频，内容创作和分享的需求都照顾到。