Goku - 港大和字节联合推出的最新视频生成模型

Goku是什么

Goku是香港大学和字节跳动联合发布的最新视频生成模型，为图像和视频的联合生成而设计。框架用的是 rectified flow Transformer，支持文生视频、图生视频和文生图这些模式。它的卖点之一是广告视频的制作成本，比传统方法低100倍，生成质量也拿得出手。Goku 背后是规模很大的数据集和一套训练设施：研究人员凑了约3600万视频和1.6亿图像，用多模态大语言模型生成语境一致的框架，训练时靠并行策略和容错机制保证稳定。

Goku+ 是在 Goku 基础上做的扩展版本，专门用来做广告视频。它能生成 20 秒以上的片子，手部动作比较稳，面部和身体表情也丰富。产品图片可以直接转成视频，虚拟数字人还能和产品互动。电商、品牌宣传、短视频广告、产品展示这些场景都用得上，制作成本也压得下来。

Goku的主要功能

• 文本到图像（Text-to-Image）：按文本描述出图，细节比较足，和描述也对得上。
• 文本到视频（Text-to-Video）：按文本描述生成连贯的视频，动作流畅，画面质量也稳。
• 图像到视频（Image-to-Video）：拿一张图当起点生成视频，原作风格和语义基本能保住，静态图变动态，动画和视频内容创作都用得上。
• 广告视频生成（Goku+）：生成广告视频，人物和产品的互动比较自然，制作成本能降低100倍；手部动作稳定，面部表情也丰富。
• 虚拟数字人视频生成：生成虚拟数字人视频，动作自然，看着不假，虚拟主播、虚拟客服这类场景可以直接用。
• 多模态生成：图像、视频、文本可以联合生成。共享潜在空间加上全注意力机制，图像和视频里复杂的时空依赖它能一起处理。

Goku的技术原理

• 图像-视频联合VAE：Goku 用 3D 联合图像-视频变分自编码器（VAE），把图像和视频压进同一个潜在空间，两种媒体在统一框架里表示，模型也就能一起处理。
• Transformer架构：Goku 家族有 2B 和 8B 两种参数的 Transformer。架构用全注意力机制，图像和视频的时空依赖能处理得比较细，输出质量高、前后也连贯。
• 校正流公式：基于 Rectified Flow（RF）算法，Goku 用线性插值在先验分布和目标数据分布之间训练。和传统扩散模型比，收敛更快，理论性质也更干净。
• 多阶段训练策略：训练分几个阶段走：先做图文语义对齐预训练，再做图像-视频联合训练，最后针对不同模态微调。生成能力是一层层加上去的，大数据集上也能训得动。
• 大规模高质量数据集：数据集约有3600万视频和1.6亿图像，构建时用了多种过滤和增强手段来保证质量。
• 高效的训练基础设施：训练设施里有并行策略、细粒度激活检查点、容错机制和 ByteCheckpoint，效率和稳定性都靠这些撑着。

Goku的项目地址

• 项目官网：https://saiyan-world.github.io/goku/
• Github仓库：https://github.com/Saiyan-World/goku
• HuggingFace模型库：https://huggingface.co/datasets/saiyan-world/Goku
• arXiv技术论文：https://arxiv.org/pdf/2502.04896

Goku的应用场景

• 广告视频制作：Goku+ 能按文本生成广告视频：文本直接出片、产品图生成人物互动视频、产品展示视频，几种做法都支持。
• 虚拟数字人视频生成：文本可以转成超写实的人物视频，时长超过20秒，手部动作稳，面部和身体的表现力也够。
• 内容创作：动画、自然风光、动物行为这些场景都能生成。比如一位时尚女性在东京街头漫步，或者几只巨型猛犸象在雪地上走。创作者找灵感、攒素材都用得上。
• 教育与培训：教育视频和培训课程也能用它做，画面生动一些，学员看着不至于太枯燥。
• 娱乐产业：电影、电视剧、动画这些行当里，内容制作和特效生成都能用上 Goku，创作者手上的选项多了一个。