MiMo-VL - 小米开源的多模态大模型

MiMo-VL是什么

MiMo-VL 是小米开源的多模态大模型，由三段拼起来：视觉编码器、跨模态投影层、语言模型。视觉编码器用 Qwen2.5-ViT 打底，语言模型是小米自研的 MiMo-7B。预训练分好几个阶段，多模态数据吃到 2.4T tokens，性能再靠混合在线强化学习往上推。基础视觉理解、复杂推理、GUI 交互这几类任务它成绩不错：MMMU-val 上拿 66.7%，排在 Gemma 3 27B 前面；OlympiadBench 上是 59.4%，连 72B 的模型也被比过去。

MiMo-VL的主要功能

• 复杂图片推理与问答：图再复杂也能推理、能问答，内容理解得准，给出的解释和答案对得上图。
• GUI 操作与交互：GUI 操作能连着走 10 多步，复杂的图形界面指令看得懂也执行得了。
• 视频与语言理解：视频内容能理解，配上语言一起做推理和问答。
• 长文档解析与推理：长文档吃得下，里面的内容能做复杂的推理和分析。
• 用户体验优化：混合在线强化学习算法（MORL）把模型的推理能力、感知性能和使用感受一起往上提。

MiMo-VL的技术原理

• 视觉编码器：用的是 Qwen2.5-ViT，输入支持原生分辨率，细节留得多。
• 跨模态投影层：使用 MLP 结构实现视觉与语言特征的对齐。
• 语言模型：底座是小米自研的 MiMo-7B 基础模型，专门为复杂推理做过优化。
• 多阶段预训练：预训练数据是收集、清洗、合成出来的高质量多模态数据，图片-文本对、视频-文本对、GUI 操作序列都有，总共 2.4T tokens。每个阶段调不同类型数据的比例，长程多模态推理因此练得比较强。
• 四阶段预训练：
  • 投影层预热：吃图文对数据，序列长度 8K。
  • 视觉-语言对齐：吃图文交错数据，序列长度 8K。
  • 多模态预训练：吃 OCR/视频/GUI/推理数据，序列长度 8K。
  • 长上下文 SFT：吃高分辨率图像/长文档/长推理链，序列长度 32K。

MiMo-VL的项目地址

• Github仓库：https://github.com/XiaomiMiMo/MiMo-VL
• HuggingFace模型库：https://huggingface.co/collections/XiaomiMiMo/mimo-vl

MiMo-VL的应用场景

• 智能客服：复杂图片的推理和问答这类任务能接下来，客服答得更聪明、更省事。
• 智能家居：家庭照片、视频这些多媒体数据它能理解，GUI Grounding 任务做得下来，人机交互的效率和体验好一些。
• 智能医疗：医学图像和文本放在一起理解，医生诊断和治疗时有个辅助。
• 教育领域：数学解题和编程学习帮得上，解题步骤和代码示例都给出来。
• 科研与学术：逻辑推理和算法开发有人搭手，研究人员验证假设、设计实验时用得上。