Qwen3.5 - 阿里通义千问开源的新一代原生多模态大模型

发布于 2026-02-16 · Qwen3.5是阿里巴巴通义千问团队正式发布并开源的新一代原生多模态大模型。首发开源版本Qwen3.5-397B-A17B采用创新的混合架构，将线性注意力（Gated Delta Networks）与稀疏混合专家（MoE）相结合，总参数达3970亿但每次推理仅激活170亿参数，实现"以小胜大"——性能超越万亿参数的Qwen3-Max，部署显存降低60%，推理吞吐量最高提升至19倍。

Qwen3.5是什么

Qwen3.5 是阿里巴巴通义千问团队正式发布并开源的新一代原生多模态大模型。首发开源版本 Qwen3.5-397B-A17B 用的是一套混合架构：线性注意力（Gated Delta Networks）加稀疏混合专家（MoE），总参数 3970 亿，每次推理只激活 170 亿，实现”以小胜大”——性能超过万亿参数 Qwen3-Max，部署显存降了 60%，推理吞吐量最高提升到 19 倍。它是原生视觉-语言模型，靠早期文本-视觉融合、M-RoPE 和 3D 位置编码统一处理文本、图像、视频任务，语言支持从 119 种扩到 201 种。多项权威评测里，Qwen3.5 在 MMLU-Pro 拿到 87.8 分，超过 GPT-5.2；GPQA 得分 88.4，高于 Claude 4.5；IFBench 指令遵循评分 76.5，刷新历史纪录。API 定价每百万 Token 只要 0.8 元，是 Gemini 3 Pro 的 1/18，开发者可以从魔搭社区、HuggingFace 或阿里云百炼获取模型权重与接口。

阿里千问又推出了 Qwen3.5 的小尺寸版本：0.8B / 2B / 4B / 9B，全系基于 Qwen3.5 统一基座，Apache 2.0 开源可商用，支持 LoRA/全量微调，消费级显卡就能跑起来做任务适配，垂直场景的落地成本很低。0.8B/2B 适合移动设备和 IoT 边缘部署；4B 定位轻量级 Agent 基座；9B 的性能和 gpt-oss-120B 相当。

Qwen3.5的主要功能

原生多模态理解：文本、图像、视频统一处理，早期视觉-语言融合让跨模态推理跑得通。
智能体能力：工具调用、任务规划与执行都支持，BFCL-V4 等 Agent 评测里表现不错。
高效推理架构：Gated DeltaNet 加 MoE 的混合设计，397B 参数只激活 17B 就能到顶级性能。
长上下文处理：上下文长度最高 1M，256K 场景下解码吞吐量是前代的 19 倍。
多语言支持：覆盖 201 种语言与方言，词表扩到 25 万，编码效率提升 10-60%。
代码生成：编程能力很强，多语言代码编写、调试、复杂项目开发都支持。
视觉识别：细粒度图像理解、目标检测、OCR 文档解析、空间关系推理都能做。
搜索增强：集成了 BrowseComp 等搜索 Agent 能力，联网信息检索和整合可以自己完成。

Qwen3.5的技术原理

混合注意力架构：Gated DeltaNet 线性注意力加 Gated Attention 稀疏注意力，计算资源按需分配。
MoE稀疏激活：总参数 397B，只激活 17B（约 4.3%），靠 1 个共享专家加 512 个路由专家（每次激活 10 个）把推理成本压下来。
门控机制优化：用 head-specific sigmoid 门控替掉传统的 softmax 注意力，这项成果拿了 2025 年 NeurIPS 最佳论文奖。
原生多模态融合：M-RoPE 和 3D 位置编码把时空信息原生嵌进 LLM，视觉-语言在早期就完成融合。
异构训练框架：视觉和语言组件解耦并行，稀疏激活让跨模块计算重叠起来，训练吞吐接近纯文本基线。
FP8混合精度：原生 FP8 流水线对激活、MoE 路由和 GEMM 用低精度，敏感层留在 BF16，显存降低 50% 以上。
异步强化学习：可扩展的异步 RL 框架支持全尺寸模型，训推分离、动态负载均衡，端到端加速 3-5 倍。