Vidu Q1 - 生数科技推出的高可控视频大模型

发布于 2025-03-29 · Vidu Q1 是清华大学人工智能研究院副院长、生数科技创始人兼首席科学家朱军教授团队推出的高可控视频大模型。支持生成1080p高清视频，画质细腻，细节丰富，能满足5秒视频的生成需求。首尾帧功能升级后，仅需两张图即可生成电影级的自然运镜效果。

Vidu Q1是什么

Vidu Q1 是清华大学人工智能研究院副院长、生数科技创始人兼首席科学家朱军教授团队推出的高可控视频大模型。能生成 1080p 高清视频，画质和细节都够看，5 秒的片子没问题。首尾帧功能升级之后，两张图就能出电影级的自然运镜。音效控制是 Vidu Q1 的一项本事：可以在时间轴上标注音效类型和时长，同步精度到 ±0.1 秒。多主体的细节可控性也做了优化，上传参考图再给文字指令，主体在画面里的位置、大小和运动轨迹都能调。模糊区域能做局部超分重建，4K 视频放大 8 倍也没有马赛克。在海外视频生成评测榜单 VBench-1.0 和 VBench-2.0 上，它分别以总分 87.41% 和 60.98% 登顶，超过了Runway、OpenAI Sora 等模型。国内 SuperCLUE 的图生视频榜单上，Vidu Q1 又用动漫风格 63.52 分、写实风格 67.78 分拿了两个第一。

Vidu Q1的主要功能

高清画质与分辨率：最高 1080p，画质细腻，细节也经得起看。
首尾帧功能：上传两张图就能出电影级的运镜，首尾帧衔接顺，镜头语言更像电影。
音效生成：新增了“一句话生成音效”，按提示词出背景音乐和音效；每段声音出现的时间点能精细控制，可以分段、也可以叠加，和画面对得上。
极“质”风格：动漫风格更稳、更流畅，角色的动作和情绪也更到位。
视频质量与语义一致性：VBench-1.0 的视频质量、语义一致性等维度上，Vidu Q1 达到了 SOTA（State of the Art）水平，表面真实性和内在真实性都站得住。
常识推理与物理理解：VBench-2.0 的常识推理和物理规律理解两个维度，Vidu Q1 的成绩也不错，理解和生成都走在前面。
精准调整主体属性：上传参考图、给文字指令，把视频里的角色或物体框出来，就能调它的位置（坐标轴定位）、大小（百分比缩放）、运动轨迹（自定义路径曲线）和动作细节，比如“抬手15度”“眨眼频率2秒/次”。实测同一个指令生成 10 次视频，角色偏移误差小于 5 像素，传统模型通常在 200 像素以上。
多主体一致性：多主体场景里，Vidu Q1 能保住主体之间的一致性，多个角色或物体的动作、位置是协调的，做动画、影视短剧这类复杂内容时这点很要紧。
音效时间轴控制：在时间轴上打点，标注音效类型和时长，比如 0:00-0:03 秒放风声（强度 70%），0:04-0:05 秒放玻璃破碎声（左声道优先）。Vidu Q1 的音效同步精度到 ±0.1 秒，不是传统 AI 那种随机配一下，沉浸感强得多。
局部超分重建：模糊的地方做局部超分重建，4K 视频放大 8 倍也不出马赛克。光影强度、材质纹理、景深虚化都能手调，画面还能再往好里修。

Vidu Q1的技术原理

技术架构：Vidu Q1 建在扩散模型（Diffusion Model）和 U-ViT 架构上。U-ViT 把 Transformer 的可扩展性和长序列建模能力合在一起，能处理长达 16 秒的 1080p 视频；视频自编码器负责压缩空间和时间维度，训练和推断都快。
多模态融合：Vidu Q1 把文本、图像、视频这些模态的信息放在一起用，通过灵活的多元输入实现多角度、多主体、多元素的一致性生成。这样 Vidu Q1 生成的视频既有动态，也守得住一致性。
自动生成与标注：大规模视频数据的标注是个麻烦，Vidu Q1 用高性能的视频标题生成器自动打标。推断时还会用重新标题技术把用户输入重新表述一遍，改成更适合模型理解的形式。
可控视频生成的拓展：此外 Vidu Q1 还试了几种可控视频生成的玩法，比如边缘检测生成视频、视频预测、主体驱动生成，这些实验也能看出 Vidu Q1 在不同场景里的潜力。

Vidu Q1的项目地址

API地址：platform.vidu.cn

Vidu Q1的评测效果

Vidu Q1 在海外视频生成评测榜单 VBench Leaderboard 的 VBench-1.0 和 VBench-2.0 上都排到了第一，总分分别是 87.41% 和 60.98%，超过 Runway、Sora、LumaAI 等国内外模型，文生视频赛道两个榜都拿了第一。
VBench-1.0 的视频质量、语义一致性，加上 VBench-2.0 的常识推理、物理理解，这些综合维度都到了 SOTA（State of the Art，即当前最先进的模型）水平。
VBench 2.0 的评测里，Vidu Q1 在常识推理和物理规律理解两个维度都拿了第一，理解和生成能力都在前面。
国内 SuperCLUE 发布的图生视频专项榜单里，Vidu Q1 以动漫风格 63.52、写实风格 67.78 拿下两个第一，专项应用上的图生视频能力稳。

如何使用Vidu Q1

注册与登录：访问 Vidu 官网，点注册或登录。
模型选择：左上角选 Vidu Q1 模型。
文生视频：写一段文字描述要的画面，再做点个性化设置，清晰度可以选 1080p。
图生视频：上传首图和尾帧参考图，写清楚想要什么内容，个性化设置之后清晰度支持 1080p。
参考生视频：这个功能还不支持 Vidu Q1，切到 2.0 模型才能用。
创作视频：设置完点创作，等出片，再慢慢调。

Vidu Q1的应用场景

影视制作：Vidu Q1 出片快，制作周期和成本都能压下来。多镜头生成加上对时空一致性的把控，做特效、剪场景时省事。
广告宣传：Vidu Q1 出片快，不同风格和主题的广告片都能应付，客户需求各不相同也没问题。再按用户兴趣和行为数据做定向投放与个性化推荐，转化会好一些。
动画制作：动画制作里，Vidu Q1 的多主体一致性控制挺有用，角色换个视角细节也不走样，动画师能少改几遍。