Qwen VLo - 通义千问推出的多模态统一理解与生成模型

发布于 2025-06-28 · Qwen VLo 是通义千问团队推出的多模态统一理解与生成模型。在多模态大模型的基础上进行了全面升级，能“看懂”世界，能基于理解进行高质量的再创造，实现了从感知到生成的跨越。能精准理解图像内容，在此基础上进行一致性和高质量的生成。

Qwen VLo是什么

Qwen VLo 是通义千问团队的多模态统一理解与生成模型。它在多模态大模型的基础上做了升级，先“看懂”世界，再基于理解去重新创作，感知和生成被接成了一条线。理解图像内容之后，生成的东西能保持一致性。用自然语言下指令，让它换风格、重构场景或者修细节，它都能接住，结果基本符合预期。指令支持多种语言，非中文用户也能直接用。训练和生成都按动态分辨率来，任意分辨率、任意长宽比的图像都能出。

Qwen VLo的主要功能

精准内容理解与再创造：Qwen VLo 能读懂图像内容，生成时语义不会跑偏。比如上传一张汽车照片，要求“更换颜色”，模型认得出车型，原图的结构特征也留着，只把颜色换掉。
开放指令编辑与修改：自然语言想怎么说就怎么说，比如“将这张画风改为梵高风格”或者“给这张图片添加一个晴朗的天空”。风格迁移、场景重构、细节修饰它都能做，一条指令里塞好几个操作也行。
多语言指令支持：中文、英文等多种语言都能下指令，不用先翻成英文再用。
动态分辨率生成：训练时就按动态分辨率做，任意分辨率和长宽比都能生成，海报、插图、网页 Banner 这类尺寸差异大的场景不用再迁就模型。
渐进式生成机制：出图是从左到右、从上到下一点点清晰起来的，过程中能实时看、随时调，控制感比较强。
图像检测与标注：检测、分割、边缘检测这类标注任务也能做。
文本到图像生成：给文本描述直接出图，通用图像和中英文海报都可以。

Qwen VLo的技术原理

模型架构：Qwen VLo 的架构主要由以下几个关键模块组成：
- 视觉编码器（Visual Encoder）：用 Vision Transformer（ViT）架构，把输入图像切成多个固定大小的 Patch，再转成序列化的特征向量。为了支持动态分辨率，Qwen VLo 改了 ViT：去掉原来的绝对位置嵌入，引入 2D-RoPE（Rotary Position Embedding）来抓图像的二维位置信息。
- 输入投影层（Input Projector）：用一个单层交叉注意力模块（Cross-Attention）把视觉特征序列压到固定长度（例如 256），处理起来更快。这个模块同时会带上二维绝对位置编码，位置信息不丢。
- 大型语言模型（LLM）：以 Qwen-7B 为基础，用预训练权重初始化，负责语言模态的输入。
- 输出投影层（Output Projector）：把 LLM 输出的特征映射到模态生成器能懂的特征空间，一般就是一个 Transformer 层或者 MLP 层。
- 模态生成器（Modality Generator）：一个基于 LDM（Latent Diffusion Models）的衍生模型，最终图像由它生成。
动态分辨率机制：Qwen VLo 引入了动态分辨率机制，能处理任意分辨率的图像输入：
- 动态视觉标记转换：视觉标记（tokens）的数量随输入分辨率变化，高分辨率图不用先缩成低分辨率，信息不会在这一步丢掉。
- 智能 Resize：推理时图像会调成 28 的整数倍尺寸，宽高比尽量不动，避免失真。
- Token 压缩：用一个简单的 MLP 层，把相邻的 2×2 tokens 并成一个 token，视觉输入的序列长度就短了。
训练方法：Qwen VLo 的训练分为三个阶段：
- 第一阶段：单任务大规模预训练：拿大量图文对做预训练，图片统一处理成 224×224。这个阶段主要让视觉模态和语言模型对齐。
- 第二阶段：多任务预训练：换成更高分辨率（448×448）的数据，同时引入多个视觉和文本生成任务，多模态能力在这个阶段往上走。
- 第三阶段：指令微调（SFT）：人工标注加模型生成，凑出多模态的多轮会话数据，练的是指令遵循和对话。
渐进式生成机制：图像是从左到右、从上到下一点点长出来的。生成过程中模型会不断修正预测，最后整体看起来是协调的。需要精细控制的长段落文字生成也能用，过程中可以实时看、实时调。
多模态融合：视觉特征和语言特征融在一起，多模态数据走同一套处理。按文本指令编辑图像、做风格迁移、直接生成都可以，指令支持多种语言。