Veo 3 - 谷歌推出的新一代视频生成模型

Veo 3是什么

Veo 3 是谷歌在 I/O 开发者大会上发布的视频生成模型。Veo 3 也是谷歌首个能给视频生成背景音效的模型——画面里有鸟鸣、街头交通，就会配上对应的声音，人物对话也能生成。物理模拟和口型同步是它的强项，视频里人物的口型能和生成的对话对上。Veo 3 能输出 1080P 的高质量视频，细节、光照准确性、伪影控制都做得不错，单段时长超过 60 秒也没问题，同时支持多种视觉风格。目前 Veo 3 只向美国地区的 Gemini Ultra 用户和 Vertex AI 企业用户开放，已经集成进谷歌的AI影视制作工具Flow中。Veo 3 的最新升级版上传一张照片就能出带音频的动态视频，角色一致性也保持得很稳。

Veo 3的主要功能

• 音效与对话生成：Veo 3 是谷歌首个能生成视频背景音效的模型，鸟鸣、街头交通这类场景会随画面配上声音，人物对话也能生成。
• 物理模拟与口型同步：模型在物理模拟和口型同步上都稳，人物口型能和生成的对话准确对上。
• 高质量视频生成：Veo 3 能输出 1080P 视频，细节、光照准确性、伪影三方面都控制得很好。
• 长片段生成：Veo 3能生成超过60秒的视频片段。
• 多样化风格：Veo 3 支持多种视觉风格，各类创意用途都派得上用场。
• 多模态输入：Veo 3能处理和理解多种类型的输入，包括文本、图像和视频。
• 照片生成视频：上传一张照片，能生成带有音频和视频的动态内容。

Veo 3的技术原理

• 基于先进生成模型：Veo 3 建立在谷歌一系列生成模型之上，包括 Generative Query Network (GQN)、DVD-GAN、Imagen-Video、Phenaki、WALT、VideoPoet、Lumiere，这些模型积累的经验构成了 Veo 3 生成高质量视频的技术底子。
• 采用Transformer架构：Veo 3 采用 Transformer 架构，靠自注意力机制去抓文本提示里的细微差别。这套机制在自然语言和各类序列任务上本来就很成熟，放进 Veo 3 之后，它对用户输入的文本理解得更准，生成的视频也更贴近描述。
• 整合Gemini模型技术：Veo 3 整合了 Gemini 模型的技术，借 Gemini 练出来的视觉理解能力来辅助 Veo 3 生成视频，两边配合之下出片的效率和质量都更高。
• 高保真度视频表示：Veo 3 使用高质量的压缩视频表示（latents），用更小的数据量装下视频的关键信息，生成的效率和质量都跟着受益。
• 多模态数据训练：Veo 3 的训练用到多模态数据，视觉、音频、文本都有，这样 Veo 3 才读得懂文本描述，也生成得出与之相符的视频。

Veo 3的项目地址

• 项目官网：https://deepmind.google/models/veo/

Veo 3的应用场景

• 影视制作：对电影制作者、动画师和内容创作者来说，Veo 3 能直接生成带逼真环境音的戏剧场景，角色对白还支持多语言。
• 广告与营销：营销和广告领域很适合 Veo 3，品牌方可以用 Veo 3 快速做出高质量视频，制作时间和成本都降下来。
• 教育与培训：Veo 3 也能用来做教育视频，场景和对话做得生动，学习起来更有趣味。