如何使用腾讯混元视频生成模型，一手实测

01 鹅厂总算也来了

鹅厂这回，终于推出自己的 AI 视频了——「混元视频模型」。

前阵子受邀参加了混元视频模型的内测，周末连肝两天，从早肝到晚，累计肝了得有300多支视频吧。

先说结论：以鹅厂交出的第一版（文生视频、5s）来看，总体质量非常高。在指令遵循、动态和画面稳定性、镜头语言、写实质感、物理遵循这些方面都挺稳，抽卡很少。

甚至在不少镜头转换、动作特效、科幻/魔幻风格、抽象理解上，还有惊喜表现。

废话不多说，请看VCR：

上手入口：腾讯元宝APP-AI应用-AI视频。

02 10个风格、30个Case，挨个实测

为了系统地测测混元视频模型的质量——当然跟那些专业评测基准比，也算不上很系统——我挑了自己觉得比较重要、大家也常用到的一些风格场景，分成10个板块来测。

这10个风格依次是：特写、写实、人物、动物、科幻、特效、动画、艺术/抽象、运动、多人场景/大场面/多镜头。

每个风格分别设计3~5个提示词，让混元出视频，逐个测评。

提示词这块，我先自己想个idea，一句话描述出来，再让AI帮我优化、扩写。AI改完的提示词，我自己再顺一顺，基本就能发给模型跑了。

提示词框架，大体离不开这几个模板。

• 模板1：提示词=主体+场景+运动
• 模板2：提示词=主体（主体描述）+场景（场景描述）+运动（运动描述）+（镜头语言）+（氛围描述）+（风格表达）
• 模板3：提示词=主体+场景+运动 + (风格表达)  + (氛围描述) + (运镜方式) + (光线) +（景别）

重点盯住 主体+场景+运动 就行，其他部分不太会描述的话，也可以用后台提供的标签来选。

废话少说，直接看跑的Case。

Ps.所有Case都是我自己实测的，不含任何官方demo。

（1）写实

写实，几乎是视频模型的必测项。主要看场景、人物表情、动作、纹理细节、光影变化这些生成效果，跟真实世界对不对得上。

1）一只啄木鸟正在树上啄洞，写实风格。

2）一个中国美女穿着汉服，头发随风飘扬。然后镜头切换到正面特写。背景是张家界。

3）一只戴红围巾的企鹅在花海散步，红围巾与花海色彩形成鲜明对比。背景的花海随风轻摆，花瓣飘落，晨露闪烁。

4）超长焦横移，工业废弃厂房，主光从碎裂天窗渗入，自然光。

（2）特写

特写，是视频模型比较拿手的风格。各家比拼的关键是细节呈现能力：物体运动、人物肢体、人脸表情、画面质量这些细节。

一个漂亮的特写镜头，一下就能把观众拉到主角跟前，身临其境。

5）一名男子惊恐地望着远方，背景是一座正在燃烧和爆炸的城市。镜头对准男子的脸，捕捉到他惊恐的表情。

6）镜头慢慢推近。背景是一个小巧而温馨的客厅，一位年轻女子坐在沙发上，全神贯注地读书。一个冒着热气的茶杯放在咖啡桌上。

7）一只奇怪而可怕的远古生物在泥土中爬行。

（3）人物

人物，主要看模型对肤色、肢体动作、表情、衣着的呈现真不真，这也是我们这些人类最容易一眼识破AI的地方。

不过话说回来，文生视频在人物上普遍不占优。想要人物更稳定、更真实、更一致，一般还得靠图生视频。

8）一个小男孩正在全神贯注地组装积木。

9）一个小女孩拿着气球，慢慢的往前跑。

10）一个男人坐在沙发上看电视，然后双手抱头，表情非常惊讶。

（4）动物

跟人物比，各家模型在动物上都强不少。但前提是你的动物得“大胆”动起来，而不是光把画面放大、缩小。

从我跑的多支Case看，混元在动物写实上相当能打，已经有点纪录片那味儿了。

11）非洲草原上，一只猎豹正在极速奔跑，追逐一头羚羊。

12）大兴安岭，一只老虎正在极速奔跑，背景是皑皑白雪的森林。

13）故宫红墙前的树枝上，一只喜鹊正在觅食。

（5）科幻、魔幻、玄幻

科幻、魔幻、玄幻这些幻想风格，正是很多人想用AI做视频的重要原因，我也一样。

幻想风格特别考验视频模型的数据集和泛化能力（即模型对新的、未见过的数据的表现能力）：光影变化、色彩变化、变形特效、动作特效，这些幻想场景能不能给呈现出来。

这部分我塞的Case最多。考虑到视频转图会被压缩，有些case我直接放了原视频。

14）一艘飞船正在穿过小行星带。

15）一艘飞船正在穿过时光隧道，周围是五彩斑斓的光线。

16）两个巨型机器人在城市中激战，每一次碰撞都产生巨大的冲击波，将附近的建筑震成碎片。

17）昏暗的走廊，一支海军陆战队正在穿过废弃的走廊。

18）在若隐若现的云端，乌云密布，电闪雷鸣。突然一条巨龙从云层穿过，飞奔而来。

这想象力，混元八成“刷”过很多遍权游。

（6）特效

特效，Special Effects，是影视剧里最重要的视觉艺术，常见的爆炸、烟雾、火焰、极速都算。

特效镜头同样主要考泛化能力，看模型听不听话、细节撑不撑得住。

19）暴风雪中，一列蒸汽火车在崎岖山间穿行，黑烟从车头直冲云霄，车厢在皑皑白雪中留下深邃轨迹。

20）在一座破旧的仓库内部，突然发生一场爆炸。

21）雾蒙蒙的夜晚，明亮的月光，一艘中世纪的帆船在海上航行，充斥着诡异的氛围。

22）五颜六色的水母在海底自由自在地游动。它们身体呈现出透明的蓝色、紫色和粉色，在水中散发出迷人的光芒。

（7）动画

动画，主要测模型对各种风格的支持和审美：2D、3D、矢量、黏土、水墨、宫崎骏、迪士尼这些。

先来一段Sora用过的提示词。

23）Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image.

再看宫崎骏风格。

24）一片奇幻花园映入眼帘。花园里长着各种奇花异草，它们形态各异，颜色缤纷。在花园中，还生活着一群活泼可爱的小精灵，它们身着五颜六色的衣服，在花草间嬉戏玩耍。吉卜力动画风格，让人仿佛置身于宫崎骏创造的梦幻世界中。

（8）艺术/抽象

艺术风格，主要考模型对图形、空间、色彩和受力变化的抽象理解。测了几个case，没想到混元还真能做出点抽象艺术视频。

25）粒子旋转，汇聚成抽象的形态。

26）不同颜色组成不规则图形，缓慢旋转。

27）5度斜角固定镜头，浅景深对焦，紫红霓虹灯与青色全息投影交织。画面中央的机械舞者着装前卫，张开双臂，向观众致谢。

（9）运动

运动，被称作视频模型皇冠上的明珠——它最难。

想生成符合真实世界物理规律的视频，模型得理解空间位置关系、处理好不同物体的受力变化和形态，还得对物体和运动有语义层面的理解——哪样技术都得够深。

28）日落时分的越野赛道，改装过的福特F-150猛禽呼啸而过。加高的悬挂让硕大的防爆轮胎在泥地上肆意翻飞，泥浆飞溅在防滚架上形成斑驳图案。车身贴花在金色阳光下闪闪发亮，机械增压器的呼啸声与排气轰鸣交织。

29）慢动作回旋镜头，雷暴天气伴随着闪电，一位英姿飒爽的中国侠客在雨中舞剑。背景是一片竹林。

30）一辆越野车在险峻的山腰上行驶，远处的贡嘎雪山在视觉上缓缓升起逐渐清晰。

（10）多人场景/大场面/多镜头

多人场景，涉及多人物动作协调，还有算力压力，目前很多视频模型基本都会崩，Gen3、可灵也不例外。来看看混元表现如何。

31）镜头从骑着马的骑士的脚步局部特写开始缓缓上升，最终拍摄到骑士的面部，骑士面带坚毅的表情看向前方。背景是一个中世纪战场，两军正在交战，人仰马翻。

32）一堆人围坐在篝火前，有说有笑，欢声笑语。

10个风格测完了，来做个总结：

1）混元对指令（也就是提示词）比较遵循。大家设计提示词时，建议画面逻辑要强、指令要清晰，别堆一串修饰词和主体词。

不然反而干扰模型的注意力——也就是DiT架构里那个T，Transformer，自注意力机制。

2）动态表现和画面稳定性很好。300多支视频里肯定有翻车的Case，但没有一支是在做PPT式放大缩小。动作正常、速度正常，慢镜头、PPT动画很少见。

3）对镜头语言理解到位。你指定镜头和景别，它就严格照办；没指定，它会根据提示词自己理解、自己设计镜头，有时候还能给你惊喜。

比如这个，真的很nice。

提示词：超大海浪，冲浪者在浪花上起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。

4）5s视频也能切镜头。部分提示词场景下（通常是长提示词），混元即使只出5s，也会自动切镜头，而且切完还能保持主体一致。

5）科幻、魔幻、写实纪录片、特效、运动这些风格出片率很高。魔幻风格尤其有权游那味儿，估计跟鹅厂自家的视频数据集脱不开关系。

6）抽卡次数少。指令清晰的话，有时候一次就能出满意的视频；再不济重生成3-5次，基本也能拿到满意的。

7）尽量照顾小白。输入框界面上给了风格、景别、光线、镜头运动，还有多种模式（流畅运镜、丰富动作、导演模式），新手也能很快上手。

别小看这些标签。实测过程中它们对视频效果帮助很大，尤其是风格和运镜这两块。

当然，测试中也暴露了一些不足。

1）泛化能力有待提升。一些陌生、冷门、没训练过的描述词（比如主体、场景、动作），混元还不认识，创造力多少受了些影响。

2）画质还需要提升，目前只有720P（实打实的720P），虽给了“高品质”模式，但对专业创作者来说还不太够。

3）对本土人物的理解，还得加强。提示词里不写“亚洲人”，模型一般就按欧洲人来生成。当然，文生视频本来就不擅长人物主体一致性，这块还得等图生视频。另外，情绪展现上也稍弱一点。

03 最后说两句

连着测了三天，我个人觉得，作为初代模型，混元的总体质量非常高，比不少视频模型的第一版表现都要好。

跟混元的同学聊了聊，原因出在他们这么几项创新上：

• 用新一代语言模型当文本编码器，语义理解和画面呈现能力都更强；
• 全程用full attention（全注意力）机制而不是时空模块，帧与帧之间的衔接更流畅；
• 用自研图像视频混合VAE（3D变分编码器）强化细节表现，人脸、手指、高速镜头都照顾到了。

而更要命的是——鹅厂宣布把这个模型开源！！

从现在开始，不论个人还是企业，所有开发者都能在Hugging Face和Github上免费用这个模型了。

• 代码仓库：https://github.com/Tencent/HunyuanVideo
• 模型权重：https://huggingface.co/tencent/HunyuanVideo

大气，是真的大气！130亿参数的模型，说开源就开源，模型权重、推理代码、模型算法这一整套完整模型，全部公开。

要知道，视频模型技术难度最高，敢开源、能开源的真没几家，连“源神”Llama推出的视频模型Movie Gen都不打算开源。

混元视频模型上线就开源，这气度，这格局，服气。到目前为止，他们已经开源了文生文、文生图、3D生成，再加上这次的文生视频。

文中提到的工具

腾讯混元文生视频入口：/posts/video-hunyuan-tencent

原文链接：一手实测，腾讯混元最新的视频模型