MiMo-V2-Flash - 小米开源的高性能语言模型

MiMo-V2-Flash是什么

MiMo-V2-Flash 是小米开源的语言模型，3090亿总参数，150亿激活。设计目标很明确，就是给智能体 AI 用：混合注意力架构把滑动窗口注意力（SWA）和全局注意力（GA）拼在一起，窗口大小128个token，再靠可学习的注意力下沉偏置（sink bias），长文本性能保住了，KV 缓存也压下来了。另外配了轻量级多Token预测（MTP）模块，每个模块只有0.33亿参数，用密集前馈网络（FFN）和SWA，生成速度提升明显，推理成本只有标杆闭源模型Claude 4.5 Sonnet的2.5%，速度还快2倍。MiMo-V2-Flash 在SWE-Bench和数学推理这类智能体与复杂推理任务上，成绩都不错。支持FP8混合精度推理，部署推荐用SGLang框架。

MiMo-V2-Flash的主要功能

• 高性能推理：混合注意力加轻量级多Token预测，推理效率高，出词快，成本也低。
• 长文本处理能力：滑动窗口注意力和全局注意力搭配着用，上下文能到256K，长文本任务接得住。
• 智能体任务优化：训练上做了大规模智能体强化学习，还有多教师在线策略蒸馏，本身就是按智能体AI的需求设计的，复杂推理和多轮对话都能扛。
• 代码生成与理解：代码生成和理解是强项，多种编程语言都支持，补全、生成、调试都能做。
• 多语言支持：多语言，文本生成、翻译、理解都覆盖。
• 开源与易用性：模型权重和推理代码全部开源，MIT协议，拿来用或者二次开发都行。

MiMo-V2-Flash的技术原理

• 混合注意力架构：SWA和GA混着来，窗口大小128个token，注意力下沉偏置（sink bias）是可学习的，KV 缓存因此省下来，长文本能力没丢。
• 轻量级多Token预测（MTP）：MTP模块做得很轻，里面是密集前馈网络（FFN）和滑动窗口注意力，每个模块只0.33亿参数，生成速度提上去，推理也更省。
• 高效预训练：预训练用了27万亿tokens，原生支持32K序列长度，上下文窗口能扩到256K，训练走的是FP8混合精度，效率更高。
• 智能体强化学习：大规模智能体强化学习，加上多教师在线策略蒸馏（MOPD），复杂推理和智能体任务上的表现都受益，换个任务也不至于水土不服。
• 推理优化：推理支持FP8混合精度，配SGLang框架跑，性能足够撑大规模部署。

MiMo-V2-Flash的项目地址

• Github仓库：https://github.com/xiaomimimo/MiMo-V2-Flash
• HuggingFace模型库：https://huggingface.co/XiaomiMiMo/MiMo-V2-Flash
• 技术论文：https://github.com/XiaomiMiMo/MiMo-V2-Flash/blob/main/paper.pdf

MiMo-V2-Flash的应用场景

• 智能体AI任务：要高效推理、又要处理复杂任务的智能体场景合适，自动化执行任务、多轮对话管理、工具调用都算。
• 长文本处理：长文生成、长文理解都能做，写长篇、做文档摘要、对着长文提问都算。
• 代码生成与理解：代码生成、补全、理解三样都有，接进开发者工具或者做编程辅助都行。
• 多语言应用：多语言能力可以拿来做跨语言翻译、多语种内容生成，国际化产品也用得上。
• 复杂推理任务：数学推理、逻辑推理、科学问题解答这类硬活它都能接，教育和研究场景合适。
• 日常助手：当通用助手用，日常问答、查资料、按喜好推内容。