万相首尾帧模型 - 阿里通义开源的首尾帧生视频模型

万相首尾帧模型是什么

万相首尾帧模型（Wan2.1-FLF2V-14B）是开源的首尾帧生视频模型，参数规模14B。给它首帧和尾帧两张图，中间的视频过渡自动生成，画面流畅、清晰度够，风格和特效也能换几种。架构走DiT，配高效的视频压缩VAE模型和交叉注意力机制，出来的视频在时间和空间上对得住。用户可在通义万相官网免费体验。

万相首尾帧模型的主要功能

• 首尾帧生视频：按首帧和尾帧生成视频，时长5秒、分辨率720p，画面自然流畅。
• 支持多种风格：写实、卡通、漫画、奇幻几种风格都出得来。
• 细节复刻与真实动作：输入图的细节复刻得准，动作过渡也生动。
• 指令遵循：视频内容由提示词控制，镜头移动、主体动作、特效变化都能说。

万相首尾帧模型的技术原理

• DiT架构：核心是DiT（Diffusion in Time）架构，专门为视频生成做的。Full Attention机制把视频的长时程时空依赖抓得住，时间、空间上的一致性就稳。
• 视频压缩VAE模型：用了高效的视频压缩VAE（Variational Autoencoder）模型，算力开销降下来，视频质量还在。高清视频生成的成本因此更可控，大规模的视频生成任务也跑得动。
• 条件控制分支：首帧和尾帧当控制条件，靠额外的条件控制分支实现变换，过程既流畅也精准。做法是把首帧、尾帧同若干零填充的中间帧拼成控制视频序列，序列再跟噪声和掩码（mask）拼接，喂给扩散变换模型（DiT）。
• 交叉注意力机制：先提首帧和尾帧的CLIP语义特征，再通过交叉注意力机制（Cross-Attention Mechanism）注入DiT的生成过程。语义和画面上都跟输入的首尾帧对得住。
• 训练与推理：训练把数据并行（DP）和完全分片数据并行（FSDP）合起来用，720p、5秒的视频切片能训。模型性能分三个阶段往上提：
  • 第一阶段：混合训练，掩码机制在这一段学。
  • 第二阶段：专项训练，首尾帧生成的能力针对性优化。
  • 第三阶段：高精度训练，细节复刻和动作流畅度再往上。

万相首尾帧模型的项目地址

• GitHub仓库：https://github.com/Wan-Video/Wan2.1
• HuggingFace模型库：https://huggingface.co/Wan-AI/Wan2.1-FLF2V-14B-720P

万相首尾帧模型的应用场景

• 创意视频制作：场景切换、特效变化这类创意视频出得快。
• 广告与营销：视频广告做得更有看相，视觉效果提一档。
• 影视特效：四季交替、昼夜变化这种特效镜头能生成。
• 教育与演示：动画效果做得生动，教学和演示省点劲。
• 社交媒体：个性化视频好做，粉丝和互动都能拉一点。