GLM-Image - 智谱联合华为开源的多模态图像生成模型

发布于 2026-01-14 · GLM-Image 是智谱联合华为开源的新一代多模态图像生成模型，基于昇腾 Atlas 800T A2 设备和昇思 MindSpore 框架训练，是首个全流程国产芯片训练的 SOTA 模型。

GLM-Image是什么

GLM-Image 是智谱联合华为开源的多模态图像生成模型，全程在昇腾 Atlas 800T A2 设备与昇思 MindSpore 框架上训练，是首个用国产芯片跑完整个训练流程的 SOTA 模型。架构是自回归 + 扩散解码器的混合式设计：9B 的自回归模型管全局语义，7B 的扩散解码器管高频细节，所以文字渲染和知识密集型场景是它的强项。CVTG-2K 和 LongText-Bench 两个榜单都拿了开源第一，支持多种分辨率，速度快、性价比高，对国产开源图像生成模型来说是一份难得的参考。

GLM-Image的主要功能

高质量图像生成：最高能出 2048×2048 的图，人像、风景、静物都画得了。
复杂文字渲染：GLM-Image 很擅长把复杂文字画进图里，支持多区域同时生成文字，海报、PPT、科普插画这类字多的场景是它的主场。
多任务支持：图像编辑、风格转换、多主体一致性生成等 image-to-image 任务都支持。
多分辨率自适应：不同分辨率的生成任务都能直接接，不用重新训练。

GLM-Image的技术原理

自回归模块：模型基于 9B 参数的自回归模型，负责全局语义理解和图像的低频布局信息。通过文本到图像和图像到图像的联合训练，增强对复杂指令的理解能力。模型用 MRoPE（Multi-Dimensional RoPE）作为位置嵌入，支持图像和文本的交错生成。
扩散解码器：模型基于 7B 参数的 DiT（Diffusion Transformer）结构，专注于高频细节的生成，如文字笔画和图像的精细纹理。把语义 VQ（Vector Quantization）Tokens 和 VAE（Variational Autoencoder）潜在表示拼在一起，让语义信息和高频细节落到同一张图上。模型引入 Glyph-byT5 模型对文字区域进行字符级编码，提升文字生成的准确性。
训练与优化：全流程在昇腾 Atlas 800T A2 设备上完成，基于昇思 MindSpore 框架，验证国产芯片在高性能模型训练中的可行性。模型采用动态图多级流水优化和多流并行策略，提升训练效率和性能。还有一层强化学习优化，分别调自回归生成器和扩散解码器，让语义一致性和视觉细节都更稳。