Xiaomi MiMo - 小米开源的首个推理大模型

Xiaomi MiMo是什么

Xiaomi MiMo 是小米开源的首个推理（Reasoning）大模型，主打的就是复杂推理任务上的表现。模型把预训练和后训练联动起来，挖了大量富推理语料，再配上创新的强化学习算法，数学推理和代码生成的能力提得很明显。MiMo 只有 7B 参数规模，却在公开测评集上超过了 OpenAI 的 o1-mini 和阿里 Qwen 的 QwQ-32B-Preview 这类更大规模的模型。Xiaomi MiMo一共有4个模型版本：预训练模型MiMo-7B-Base、监督微调模型MiMo-7B-SFT，强化学习模型MiMo-7B-RL和MiMo-7B-RL-Zero，都已开源到 HuggingFace，开发者可以直接拿来当推理工具用。

小米最新发布的开源大语言模型MiMo-V2-Flash，采用5:1比例的滑动窗口注意力（窗口大小128）与全局注意力交替的结构，把KV缓存减少了近6倍，长文本性能和效率两头都顾到了。它还能并行预测多个token，平均接受长度2.8-3.6，推理速度提升2-2.6倍，编码任务的效率专门做过优化。在多项基准测试里，它的表现和DeepSeek-V3.2、Kimi-K2这些头部开源模型打得有来有回。

Xiaomi MiMo的主要功能

• 强大的数学推理能力：能解复杂的数学题，推理路径和答案都给得准确。
• 高效的代码生成能力：生成的代码质量高，各种编程任务都使得上。
• 优化的推理性能：预训练和后训练联动，把推理能力做了上去，7B 参数规模就能超过更大的模型，效率很高。

Xiaomi MiMo的技术原理

• 预训练阶段：预训练阶段重点挖富推理语料，合成了约 200B tokens 的推理数据，让模型见过足够多的推理模式。训练分三阶段推进，难度逐步提高，总训练量达到 25T tokens，模型能力跟着任务难度一点点涨上来。
• 后训练阶段：
  • 强化学习算法：推出 Test Difficulty Driven Reward 算法，专门缓解困难算法题上的奖励稀疏问题，模型在复杂任务里的表现因此更好。
  • 数据重采样策略：引入 Easy Data Re-Sampling 策略，让强化学习（RL）训练的过程更稳定。
  • 高效训练框架：设计了 Seamless Rollout 系统，RL 训练提速 2.29 倍、验证提速 1.96 倍，训练效率上了一个台阶。
• 模型架构优化：模型架构针对推理任务做过优化，参数规模有限的情况下也能跑出高效的推理能力。

Xiaomi MiMo的项目地址

• GitHub仓库：https://github.com/XiaomiMiMo
• HuggingFace模型库：https://huggingface.co/XiaomiMiMo
• 技术论文：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf

Xiaomi MiMo的应用场景

• 教育领域：可以辅助数学解题和编程学习，给出解题步骤和代码示例。
• 科研与学术：逻辑推理、算法开发都能搭手，还能帮忙验证假设、设计实验。
• 软件开发：生成代码、优化代码，调试和排查问题也用得上。
• 智能客服：复杂问题也能接住，问答系统的效率更高。
• 游戏娱乐：给策略建议、解答智力谜题，玩游戏的乐趣多一层。