腾讯混元文生视频 - 腾讯推出的AI视频生成模型

发布于 2024-12-03 · 腾讯混元文生视频是腾讯推出的AI视频生成模型，能根据文本提示生成相应的视频内容。模型在画质、物体运动、镜头切换等方面表现出色，能理解和遵循复杂的提示词，生成具有大片质感的视频。腾讯混元文生视频模型能生成多镜头视频，实现自然转场，同时支持生成连贯的多动作视频。

腾讯混元文生视频是什么

腾讯混元文生视频是基于腾讯AI视频生成模型推出的 AI 视频创作工具，按文本提示生成视频。画质、物体运动、镜头切换这几块表现不错，复杂的提示词也能听懂，出来的片子有点大片感。输入框里能选风格、景别、光线、镜头运动，还有流畅运镜、丰富动作、导演模式几种模式，没经验的人也能直接上手。它可以生成多镜头视频，转场自然，连贯的多动作视频也支持。

腾讯混元文生视频的主要功能

文本到视频生成：给一段文本提示词，生成对应的视频内容。
多语言支持：中文、英文都能输入，出来的视频也对得上这两种语言。
高清画质：生成的视频是高清画质。
镜头切换：镜头切换比较顺，动态感和连贯性都在。
物体运动和场景模拟：物体怎么动、场景怎么变，都按物理规律来，画面自然。
多镜头生成：一段提示词能出多个镜头，镜头之间切换自然。
多动作生成：同一个主体的多个连贯动作能一次生成，内容更丰富。
氛围感营造：按提示词做出对应的氛围和风格，情绪能传出来。
遵循复杂提示词：长而复杂的提示词也能照着做，画面基本是你想要的样子。

腾讯混元文生视频的实测案例

实测1：

内容描述：镜头开始聚焦在摇曳的烛光上，一个低头写信的年轻男子轮廓模糊，随着镜头缓缓向右平移，镜头焦点逐渐从蜡烛转移到男子的身影，衣服的纹理清晰可见。
主观感受：典型的东方美学抓得很准，含蓄、有意境的中式风格出来了，恍惚间以为在看腾讯视频。

实测2：

内容描述：用 200mm 长焦镜头，捕捉阳台上的英短猫，前景的大盆栽轻微虚化，叶子随风摇曳。
主观感受：英短猫的毛发细节清楚，电影胶片的颗粒感和色彩饱和度让画面更有质感。

实测3：

内容描述：在成都一个热闹的小吃街上，一位主播身穿具有四川特色的服饰，头戴可爱的熊猫耳朵发箍，品尝着麻辣串串，背景是熙熙攘攘的小吃街和各种诱人的美食。
主观感受：细节上有小瑕疵，比如麻辣串串的呈现略失真、主播服装的图案有点乱，但整体完成度不错，主播表现自然，背景的生活气息也够浓。

实测4：

内容描述：在一间装饰着复古风格的咖啡馆内，一位年轻咖啡师身着经典的条纹围裙，头戴贝雷帽，站在吧台后，吧台上摆放着咖啡杯和手工甜点。
主观感受：阳光透过彩色玻璃窗落在磨光的木板上，倒影的细节处理得很细。

腾讯混元文生视频与 Sora 对比

现实场景

腾讯混元文生视频：一只金毛寻回犬在白雪皑皑的德国追逐一只猫。

Sora：A golden retriever chasing a cat in snowy germany。

现实中不存在的场景

腾讯混元文生视频：一个特写镜头，展示了一个内部有禅宗花园的玻璃球。球中有一个小矮人，正在耙禅宗花园并在沙子中创造图案。

Sora：A close up view of a glass sphere that has a zen garden within it. There is a small dwarf in the sphere who is raking the zen garden and creating patterns in the sand。

长篇复杂提示词

腾讯文生视频：动画场景特写了一个短毛绒怪物跪在融化的红蜡烛旁边。艺术风格为3D写实，注重光线和纹理。这幅画的氛围充满了惊奇和好奇，怪物睁大眼睛张着嘴巴注视着火焰。它的姿势和表情传达出一种纯真和俏皮的感觉，仿佛它是第一次探索周围的世界。暖色调和戏剧性的光线运用进一步增强了画面的温馨氛围。

Sora：Animated scene features a close-up of a short fluffy monster kneeling beside a melting red candle. The art style is 3D and realistic, with a focus on lighting and texture. The mood of the painting is one of wonder and curiosity, as the monster gazes at the flame with wide eyes and open mouth. Its pose and expression convey a sense of innocence and playfulness, as if it is exploring the world around it for the first time. The use of warm colors and dramatic lighting further enhances the cozy atmosphere of the image。

腾讯混元文生视频模型是什么

腾讯混元文生视频大模型是腾讯推出的 AI 视频生成模型，按文本提示生成视频，2024 年 12 月 3 日正式上线开源，开发者可以免费用，参数量 130 亿，模型权重、推理代码、算法都放了出来。语义理解和画面呈现比前代强，全程用 full attention（全注意力）机制，帧与帧之间接得更顺；再配合自研的图像视频混合 VAE（3D 变分编码器），人脸、手指、高速镜头这些细节也照顾到了。