Ruyi - 图森未来推出的图生视频大模型

Ruyi是什么

Ruyi是图森未来推出的图生视频大模型，冲着消费级显卡能跑设计的，支持多分辨率、多时长出视频，可以控制首帧、首尾帧、运动幅度和镜头。架构是DiT，由Casual VAE模块和Diffusion Transformer两部分组成，分别管视频数据的压缩和生成。动漫、游戏内容的开发周期和成本都能往下压，ACG的爱好者和创作者比较对胃口。目前图森未来已经把Ruyi-Mini-7B版本正式开源。

Ruyi的主要功能

• 多分辨率、多时长生成：分辨率从最小的384×384到最大的1024×1024都支持，长宽比可以任意配，视频最长生成120帧、也就是5秒。
• 首帧、首尾帧控制生成：起始帧最多5个、结束帧最多5个，靠循环叠加能拼出任意长度的视频。
• 运动幅度控制：运动幅度分成4档，整幅画面变化多少由你定。
• 镜头控制：镜头控制给到上、下、左、右、静止5个选项，生成视频时灵活一些。

Ruyi的技术原理

• 模型架构：Ruyi基于DiT（Diffusion Model with Transformers）架构，由两部分组成：
  • Casual VAE模块：负责视频数据的压缩和解压。
  • Diffusion Transformer：负责压缩后的视频生成。
• 压缩与编码：Casual VAE把空间分辨率压到1/8，时间分辨率压到1/4，压完之后每个像素用16位的BF16表示。
• 位置编码：DiT这部分用3D full attention，空间方向靠2D RoPE（Rotary Positional Encoding）做位置编码，时间方向用sin_cos。
• 训练损失函数：最终的loss选DDPM（Denoising Diffusion Probabilistic Models）来训练。
• 参数量与训练数据：总参数量大约7.1B，训练用了约200M个视频片段。
• 训练阶段：训练分四个阶段，从低分辨率预训练一路走到高分辨率微调，模型性能一轮轮提上去。

Ruyi的项目地址

• GitHub仓库：https://github.com/IamCreateAI/Ruyi-Models
• HuggingFace模型库：https://huggingface.co/IamCreateAI/Ruyi-Mini-7B

Ruyi的应用场景

• 动画预制：动画角色和场景的动态演示能快速出，设计好不好、故事顺不顺先看一遍。
• 游戏CG生成：游戏开发里能自动出宣传视频，也能做游戏内的动态背景。
• 电影特效预览：电影制作时，导演和特效团队可以先预览特效场景，后期特效的制作方向更明确。
• 虚拟主播：虚拟主播的动态视频能做，直播、新闻播报、在线教育都放得下。
• 社交媒体内容：社交媒体上的动态视频内容，能帮着拉互动、攒曝光。