万相2.1 - 通义万相最新推出的视频生成模型

万相2.1是什么

万相2.1是阿里推出的通义万相升级版本。基于自研的高效 VAE 和 DiT 架构，时空上下文建模能力更强，支持无限长 1080P 视频的高效编解码，首次实现了中文文字视频生成。升级后的通义万相在 VBench 榜单上排到了第一。万相2.1 能稳定呈现复杂的人物运动，现实物理规律还原得逼真，中英文视频特效一键生成，影视质感和艺术风格转换也拿得出手。万相2.1 还支持文生组图，采用 IC-LoRA 图像生成训练方法，文本到图像的上下文能力更强，关联图像之间的组合生成可以比较轻松地完成。

万相2.1的主要功能

• 视频生成
  • 复杂动作展现：旋转、跳跃、转身、翻滚这类复杂肢体动作都能稳稳生成，镜头移动也包含在内，画面看起来更自然、更有实感。
  • 物理规律还原：碰撞、反弹、切割、挤压这些真实世界的物理规律还原得比较像。比如雨滴打在伞上溅起水花，这类场景出来就有真实感。
  • 中英文视频特效生成：过渡、粒子效果、模拟等特效选项都有，中英文视频特效一键生成，画面的视觉表现力更强。
  • 艺术风格转换：电影色调、印象笔触、抽象表现这些风格都能调，影视质感和艺术风格一键就能换，出来的片子风格差别挺明显。
• 图生成
  • 分镜效果还原：分镜效果按电影的路子来，角色、相貌、动作、环境、灯光这些元素保持连贯，故事情节、视觉效果和氛围能拧到一起。
  • 四格漫画创作：描述好剧情和风格，它生成四格漫画，一个小故事很快就讲完。
  • 创意头像定制：按喜好、风格、特点定制情侣头像、个人头像。卡通、写实、创意等风格都有，选哪个看自己。

万相2.1的技术原理

• VAE架构：变分自编码器（VAE）属于生成模型。编码器把输入数据映射到潜在空间，解码器再把潜在空间的表示映射回数据空间，数据的生成和重建就是这么完成的。
• DiT架构：DiT（Diffusion in Time）属于扩散模型这一类，在时间维度上一点点加噪声，再一点点去噪，把数据生成出来。DiT 能抓住视频的时空结构，编解码效率高，生成的视频质量也不错。
• IC-LoRA：IC-LoRA 是一种图像生成训练方法，把图像内容和文本描述结合起来，文本到图像的上下文能力因此更强，生成的图像也更贴近描述。
• 上下文建模：靠更强的时空上下文建模，视频内容的连贯性和一致性更好，动作、场景、风格这些元素放在一起也更协调。

万相2.1的项目地址

• 项目官网：在电脑上访问通义万相AI视频官网，就能开始做视频。
• 开源地址：Wan2.1

万相2.1视频案例

文字特效

• 提示词1：以红色新年宣纸为背景，出现一滴水墨，晕染墨汁缓缓晕染开来。文字的笔画边缘模糊且自然，随着晕染的进行，水墨在纸上呈现“福”字，墨色从深到浅过渡，呈现出独特的东方韵味。背景高级简洁，杂志摄影感。

• 提示词2：远景拍摄，塞纳河畔，绚烂的烟花在空中绽放，烟花形成了粉色数字“2025”时镜头拉近特写，然后逐渐消散。

运动

• 提示词1：一辆汽车在被雪覆盖的公路上高速飞驰。镜头从空中俯拍，展现了公路两旁的树木和远处的山脉。汽车在笔直的道路上行驶，周围的雪地和树木形成了鲜明的对比。整个场景在自然光下显得格外清晰，具有纪录片风格的写实感。

• 提示词2：超大海水浪尖，冲浪者在浪尖起跳，完成空中转体。摄影机从海浪内部穿越而出，捕捉阳光透过海水的瞬间。水花在空中形成完美弧线，冲浪板划过水面留下轨迹。最后定格在冲浪者穿越水帘的完美瞬间。

特效

• 提示词1：一条巨龙在一座燃烧的城市上空盘旋，火焰的余光映照在它的鳞片上，摄像机从下方仰视，捕捉到龙的身影在火焰和烟雾中若隐若现，它的翅膀在空中拍打，掀起狂风，将火焰吹向四面八方。

写实

• 提示词1：特写镜头聚焦于一双布满老茧的手，正细致地在木头上雕刻。手握刻刀，刀锋在飞舞的木屑中闪烁，木纹清晰，指尖轻盈游走在刀刃间，勾勒出精致的花纹与图案。背景虚化，仅见工作台与散落的木工工具，强调手部精妙动作与匠艺之精髓。

• 提示词2：45度俯视固定镜头，中景，浅景深，晨光穿过梧桐斑驳洒落。画面中央的橘猫穿着围裙，稳稳举刀切黄瓜，尾巴随着切菜节奏轻晃。背景灶台炊烟缭绕上升，阳光斜射在木案与老铁锅上泛起温暖光晕。

人物特写

• 提示词1：一位女性特写镜头：起初她在笑，随后变得悲伤，接着开始哭泣，最后用双手捂住脸。

多人场景/大场面/多镜头

• 提示词1：黎明时分，中世纪风格，两支大军正在混战。

万相2.1的应用场景

• 影视制作：给古装剧做古代战争特效，千军万马冲锋、箭雨纷飞这类场面都能生成。
• 广告视频制作：给运动饮料拍广告，生成年轻人运动后畅饮的镜头，产品卖点能直接带出来。
• 教学辅助：历史课上可以直接生成赤壁之战视频，帮助学生理解这段历史。
• 文化创作：拍书法纪录片时，生成书法家创作过程的视频，笔法细节能看清楚。
• 新闻报道：报道交通事故时生成现场模拟视频，事故怎么发生的能讲清楚。