Qwen3.8-Flash - 阿里通义推出的多模态 MoE 模型

Qwen3.8-Flash是什么

Qwen3.8-Flash 是阿里云通义千问的多模态 MoE 模型，总参数 125B，每个 token 只激活 6B，原生支持 262K 上下文。架构上有四处改动：GDN+QSA 混合注意力、门控残差、N-gram 嵌入和 Muon 优化器；训练成本只有 Qwen3.7-Plus 的 1/9，编码和办公任务上更强。

Qwen3.8-Flash的主要功能

• 超长上下文处理：原生 262K tokens，能扩到 1M，长文档和代码库分析都撑得住。
• 代码智能体：端到端软件工程任务都能做，代码生成、调试、多语言开发都在里面。
• 办公自动化：能跑长程办公流程和专业工作任务，工具调用也集成了。
• 多模态理解：长视频、科学图表、视觉数学题、现实场景都能理解。
• 设备与界面操控：靠视觉感知去操作网页、Android 设备和桌面系统。
• 推理与问答：科学推理、竞技编程、指令遵循、多学科综合推理都覆盖。

Qwen3.8-Flash的技术原理

• GDN + QSA Hybrid Attention：每四层里放三层 Gated DeltaNet 和一层 Qwen Sparse Attention，”高效记忆 + 精准查找”混着来，1M 上下文下 Prefill 吞吐是前代的 8.6 倍。
• Gated Residual（GR）：把原来的单一残差流拆成四条并行分支，用动态门控控制各层读写信息的比例，长距离信息有专门的通道留着，激活异常值也被压住；再支持 FP8 存储，访存开销小了很多。
• N-gram Embedding：常规词嵌入之外，又加了 51B 参数的 N-gram 嵌入层，靠局部上下文查表去抓短语搭配；这一层可以卸到 Host Memory，异步预取跟计算重叠，token 级计算量基本没涨。
• Muon Optimizer：主要的线性映射权重用 Muon 做正交化优化，Embedding 和 Router 这些还是 AdamW；重新拟合 Scaling Law 之后，学习率和批次都能开得更大，没什么用的 Batch Size Warmup 也去掉了。

如何使用Qwen3.8-Flash