混元DiT - 腾讯混元开源的文生图扩散模型Hunyuan-DiT

混元DiT是什么

混元DiT（Hunyuan-DiT）是腾讯混元团队开源的文本到图像扩散 Transformer 模型，中英文理解能做到细粒度，按文本提示生成多分辨率图像。它的网络架构把双语CLIP和多语言T5编码器结合起来，训练和优化走一套自己设计的数据管道，同时支持多轮对话，可以顺着上下文生成、完善图像。在中文文生图这块，它在开源模型里属于靠前的位置。

混元DiT的主要功能

• 双语文本到图像生成：中文或英文的提示都能直接生成图像，跨语言的图像任务因此省掉了翻译这一步。
• 细粒度中文元素理解：模型专门针对中文做过优化，像中国古诗、中国传统服饰、中国节日这类元素，理解和生成都更到位。
• 长文本处理能力：文本输入最长支持 256 个标记，描述再复杂的长文本也能对应到图像上。
• 多尺寸图像生成：多种尺寸比例都能出图，从社交媒体帖子到大尺寸打印，各用各的规格。
• 多轮对话和上下文理解：用户可以多轮对话，混元DiT会根据对话历史和上下文生成、迭代图像，改起来更灵活。
• 图像与文本的高一致性：生成的图像和输入提示对得上，文本里的意图和细节基本能落到画面上。
• 艺术性和创意性：除了常见图像，它也能接住文本里的创意描述，生成带点艺术感的作品。

混元DiT的官网入口

• 官方项目主页：https://dit.hunyuan.tencent.com/
• Hugging Face模型：https://huggingface.co/Tencent-Hunyuan/HunyuanDiT
• GitHub源码：https://github.com/Tencent/HunyuanDiT
• 技术报告：https://tencent.github.io/HunyuanDiT/asset/Hunyuan_DiT_Tech_Report_05140553.pdf

混元DiT的技术架构

• 双文本编码器：混元DiT 用双语CLIP加多语言T5两个编码器，加强对输入文本的理解和编码。选CLIP是因为它在图文关联上表现好，选T5则是看中它的多语言和文本理解能力。
• 变分自编码器（VAE）：预训练的VAE把图像压到低维潜在空间，扩散模型学数据分布会容易些。VAE 的潜在空间直接关系到生成质量。
• 扩散模型：混元DiT 的扩散模型建在扩散Transformer之上，用来学习数据分布。文本条件通过交叉注意力机制接进扩散模型。
• 改进的生成器：扩散Transformer 相比基线DiT做了几处改进，比如用自适应层归一化（AdaNorm），让细粒度的文本条件执行得更彻底。
• 位置编码：混元DiT 用旋转位置嵌入（RoPE），绝对位置和相对位置依赖一起编码，多分辨率的训练和推理都能支持。
• 多模态大型语言模型（MLLM）：用来重写图像-文本对的原始标题，提升数据质量。微调后的MLLM能生成带世界知识的结构化标题。
• 数据管道：涵盖数据获取、解释、分层和应用，新数据是否有效，靠一个叫“数据车队”的迭代过程来检查。
• 后训练优化：推理阶段也做了优化来压低部署成本，包括ONNX图优化、内核优化、操作融合等。

混元DiT与其他文生图模型的比较

为了比较 HunyuanDiT 和其他模型的生成能力，混元团队建了 4 个维度的测试集，请了超过 50 名专业评估人员打分，维度包括文本图像一致性、排除AI伪影、主题清晰度和审美。

模型	开源	文图一致性(%)	排除 AI 伪影(%)	主题清晰度(%)	审美(%)	综合得分(%)
SDXL	✔	64.3	60.6	91.1	76.3	42.7
PixArt-α	✔	68.3	60.9	93.2	77.5	45.5
Playground 2.5	✔	71.9	70.8	94.9	83.3	54.3
SD 3	✘	77.1	69.3	94.6	82.5	56.7
Midjourney v6	✘	73.5	80.2	93.5	87.2	63.3
DALL-E 3	✘	83.9	80.3	96.5	89.4	71.0
Hunyuan-DiT	✔	74.2	74.3	95.4	86.6	59.0