Qwen3 - 阿里通义开源的新一代混合推理模型系列
发布于 2025-04-29 · Qwen3 是阿里巴巴推出的新一代大型语言模型,Qwen3 支持“思考模式”和“非思考模式”两种工作方式,思考模式模型会逐步推理,经过深思熟虑后给出最终答案,适合复杂问题。非思考模式模型提供快速、近乎即时的响应,适用于简单问题。
Qwen3是什么
Qwen3 是阿里巴巴推出的新一代大模型,支持“思考模式”和“非思考模式”:前者一步步推理,想清楚再给最终答案,复杂问题用它;后者近乎即时响应,简单问题用它更快。Qwen3 支持 119 种语言和方言,前代只有 29 种,语言覆盖面的提升很明显。Qwen3 还重做了编码和 Agent 能力,支持 MCP 协议,跟外部工具、数据源的衔接更顺。Qwen3 的训练数据约 36 万亿个 token,是 Qwen2.5 的两倍,Qwen3 走的是四阶段流程:长思维链冷启动、长思维链强化学习、思维模式融合和通用强化学习。Qwen3 系列采用 Apache 2.0 协议开源,全球开发者、研究机构和企业都能免费下载并商用。
阿里巴巴同期开源的还有两款 Qwen3 系列模型:Qwen3-Embedding 和 Qwen3-Reranker。
Qwen3-Embedding:多语言文本表征基准里,Qwen3-Embedding 的成绩相当靠前。8B 参数那个版本在 MTEB 多语言 Leaderboard 上拿了 70.58 分,排第一,压过不少商业 API,比如谷歌的 Gemini-Embedding。输入是单段文本,取模型最后一层「EOS」标记对应的隐藏状态向量,当作这段文本的语义表示。文本分类、聚类、相似度计算这些需要语义表征的场景都能用,给下游任务提供的文本特征质量不错。
Qwen3-Reranker:相关性检索任务上,8B 模型的多语言得分是 69.02,中文 77.45,英文 69.76,比其他基线都高。输入是一对文本(比如用户查询和候选文档),单塔结构算出两者的相关性得分。搜索引擎的结果排序、问答系统的答案排序都靠它,检索结果的相关性和准确度能提上来。
Qwen3的主要功能
- 混合推理模式:Qwen3 提供“思考模式”和“非思考模式”两套工作方式。思考模式适合复杂问题,模型会逐步推理后再给出答案;非思考模式响应快,基本是即时的,简单问题直接用它。任务难度不同,推理过程可以自己切,成本和质量的平衡由使用者拿捏。
- 多语言支持:Qwen3 支持 119 种语言和方言,英语、法语、中文(简体和繁体)、粤语都在内,国际化应用的覆盖面宽了不少。
- 增强的 Agent 能力:Qwen3 在编码和 Agent 能力上都做了优化,支持 MCP 协议,跟外部工具对接的效率更高。再配上 Qwen-Agent 框架,编码的复杂度能压下来,手机和电脑上的 Agent 操作都能跑。
- 多种模型配置:Qwen3 的配置分两类,两个 MoE 模型(Qwen3-235B-A22B 和 Qwen3-30B-A3B),六个 Dense 模型(Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B)。小型设备到大规模企业部署,都能在里面找到合尺寸的。
Qwen3的技术原理
- 大规模预训练:Qwen3 的预训练数据约 36 万亿个 token,是 Qwen2.5 的两倍,覆盖 119 种语言和方言。整个预训练分三个阶段:
- 第一阶段(S1):这一阶段用了超过 30 万亿个 token,上下文长度 4K token,打下语言技能和通用知识的底子。
- 第二阶段(S2):调高知识密集型数据的比例,STEM、编程和推理任务多加了一些,之后又拿 5 万亿个 token 继续预训练。
- 第三阶段:用高质量的长上下文数据把窗口拉到 32K token,更长的输入也能处理。
- 优化的后训练:要让同一个模型既能思考推理、又能快速响应,Qwen3 的后训练分四步走:
- 长思维链冷启动(Long Chain-of-Thought Cold Start):拿多样化的长思维链数据做微调,数学、代码、逻辑推理、STEM 问题都覆盖到了。
- 长思维链强化学习(Reasoning-based Reinforcement Learning):奖励由规则给出,模型更愿意往深处探索、把问题钻研透。
- 思维模式融合(Thinking Mode Fusion):把长思维链数据和常见的指令微调数据混在一起做微调,非思考模式就这样并进了思考模型里。
- 通用强化学习(General Reinforcement Learning):强化学习覆盖 20 多个通用领域,指令遵循、格式遵循、Agent 能力都在其中,通用能力继续往上走,一些坏习惯也被纠正。
- 多种模型配置:Qwen3 提供了多种模型配置,包括:
- MoE 模型:Qwen3-235B-A22B 和 Qwen3-30B-A3B。
- Dense 模型:Qwen3-32B、Qwen3-14B、Qwen3-8B、Qwen3-4B、Qwen3-1.7B 和 Qwen3-0.6B。从小型设备到大规模企业部署,各种场景都能覆盖。
- 性能优化:Qwen3 的性能上去了,部署成本反而降了。满血版 4 张 H20 就能跑,显存占用只有性能相近模型的三分之一。
Qwen3的项目地址
- 项目官网:https://qwenlm.github.io/blog/qwen3/
- Github仓库:
- Qwen3:https://github.com/QwenLM/Qwen3
- Qwen3-Embedding:https://github.com/QwenLM/Qwen3-Embedding
- HuggingFace模型库:
- Qwen3:https://huggingface.co/collections/Qwen/qwen3
- Qwen3-Embedding:https://huggingface.co/collections/Qwen/qwen3-embedding
- Qwen3-Reranker:https://huggingface.co/collections/Qwen/qwen3-reranker
Qwen3的性能效果
Qwen3 在几个基准测试上的表现,挑重点看:
- AIME25:Qwen3 拿到 81.5 分,刷新了开源纪录。
- LiveCodeBench:Qwen3 超过 70 分,比 Grok3 还高一点。
- ArenaHard:Qwen3 拿 95.6 分,超过 OpenAI-o1 和 DeepSeek-R1。
Qwen3的应用场景
- 文本生成:Qwen3 生成的长文本读起来连贯、不别扭,自动化写作、新闻生成、博客文章都能派上用场。给一个提示,它能写出完整的文章或故事。
- 机器翻译:Qwen3 支持 119 种语言和方言,翻译任务上占便宜,多语种之间互译都行,译文质量也过得去。
- 法律文书自动生成:Qwen3 可以生成合同、法律意见书、诉讼文书等法律文件。拿法律语料微调过的 Qwen3,出的文书格式规整,也能对上法律条文的要求。
- 技术文档编写:Qwen3 能生成详细的技术文档、产品说明、用户手册。用技术语料微调之后,Qwen3 还能帮开发和技术支持团队把符合行业标准的文档批量产出。
- 医疗领域:医学报告、诊断建议也能生成。在医学文献、病历数据上做过微调的 Qwen3,出的专业报告符合医学标准;医生诊断时,病例记录可以交给 Qwen3 顺手整理。
- 法律领域:喂过法律文献、判例和法规之后,Qwen3 写的法律文件专业度很高。






0 条评论
暂无评论,来抢沙发。