豆包AI视频模型 - 字节跳动推出的AI视频生成大模型：PixelDance和Seaweed

发布于 2024-09-26 · 豆包AI视频模型是字节跳动推出的两款AI视频生成大模型：PixelDance 和 Seaweed 。PixelDance基于DiT结构，擅长理解复杂指令，生成连贯、多主体交互的视频片段，适合制作故事性强的短片。Seaweed则基于Transformer结构，通过时空压缩技术训练，支持多分辨率输出，生成逼真、流畅的视频，适合多种商业应用场景。PixelDance适合需要复杂动作和故事叙述的视频创作，而Seaweed则适合需要高清晰度和逼真度的视频生成。

豆包AI视频模型是什么

豆包AI视频模型是字节跳动推出的两款AI视频生成大模型：PixelDance 和 Seaweed 。PixelDance 基于 DiT 结构，优势在理解复杂指令，生成连贯、多主体交互的视频片段，适合故事性强的短片。Seaweed 基于 Transformer 结构，用时空压缩技术训练，支持多分辨率输出，画面逼真流畅，偏商业应用。

豆包AI视频模型的主要功能

豆包 PixelDance 和豆包 Seaweed 虽然都出自字节跳动，结构和功能却不一样：

豆包PixelDance的主要特点和功能：

复杂指令理解：复杂的文本提示能听懂也能执行，出来的画面和描述对得上。
时序性动作生成：连贯动作的视频能生成，多主体之间的交互和复杂的动作序列都包括在内。
多镜头语言能力：环绕、缩放、平移这些运镜都会用，效果接近专业摄像。
一键短片生成：一句提示词就能生成有起承转合的完整故事短片。
多风格支持：3D 动画、2D 动画、国画这些艺术风格都支持。
多比例适配：多种视频比例都能出，换设备播放不用操心。

豆包Seaweed的主要特点和功能：

多模态输入：文本、图像都能作为输入生成视频。
基于Transformer的结构：用 Transformer 结构，质量和效率都有保障。
时空压缩潜空间训练：在时空压缩后的潜在空间里训练，模型对视频内容的理解更透。
多分辨率生成：原生支持多种分辨率，不同播放场景都能用。
高清图像适配与保真：按输入高清图像的分辨率做适配，输出视频的清晰度不会掉。
高质量视频输出：默认 720p、24fps、5 秒，需要的话可以延长到 20-30 秒。
高逼真度：生成的视频逼真度高，细节层次也细。
专业级视觉美感：色彩调和与光影布局是专业级的，画面看着更舒服。
流畅的动态表现：动态流畅自然，动作符合真实的物理规律。

豆包PixelDance和豆包Seaweed的区别是什么

豆包 PixelDance 的长处在语义理解和多镜头叙事，能生成连贯动作、多主体交互的复杂视频，需要丰富故事性和专业运镜的场景更合适。豆包 Seaweed 胜在逼真度和多模态输入，视频输出支持多种分辨率，电商、文旅宣传、教育动画这类看重细节和清晰度的活儿可以用它。

主要区别：

结构：PixelDance 用 DiT 结构，Seaweed 用 Transformer 结构。
视频长度：PixelDance 最长能生成 10 秒，Seaweed 默认 5 秒，最长可以延到 20-30 秒。
功能侧重点：PixelDance 侧重复杂指令理解和多镜头语言，Seaweed 侧重多模态输入和高逼真度输出。
应用场景：两者适用的场景都不少，但复杂动作和故事叙述更像 PixelDance 的活，高清晰度、高逼真度的需求更适合 Seaweed。

PixelDance 更适合复杂动作和故事叙述，Seaweed 更适合高清晰度、高逼真度的片子。

如何使用豆包AI视频模型

方法一：即梦AI官网体验

访问即梦AI官网：使用电脑访问即梦AI官网，把账号注册好、登录进去。
找到AI视频生成：在即梦首页找到 AI视频 – 视频生成，点进去就能用。
体验AI视频生成：即梦 AI 有文生视频、图生视频、对口型三个功能，底层都是豆包大模型。输入一段文字描述或者上传本地图片，很快就能变成视频。
免费额度与产品定价：免费版加付费会员两档。免费版每天送 60 积分，用来试基础功能。会员分三级：基础 79 元/月，标准 239 元/月，高级 649 元/月。

方法二：豆包大模型官网体验

访问火山引擎官网：使用电脑访问豆包大模型官网，把账号注册好、登录进去。
找到豆包视频生成模型：点立即体验，找到豆包视频生成模型 PixelDance 和 Seaweed 。
体验豆包视频生成模型：
- 如果是个人：直接打开“Doubao-视频生成-Seaweed”，每周有 10 次免费体验，2024 年 10 月 31 日截止。
- 如果是企业：得填申请表单，写清使用场景再申请 API 对接，目前还没对外开放。