Kimi-VL - 月之暗面开源的轻量级多模态视觉语言模型

发布于 2025-04-11 · Kimi-VL 是月之暗面开源的轻量级多模态视觉语言模型，基于轻量级MoE模型Moonlight（16B总参数，2.8B激活参数）和原生分辨率的MoonViT视觉编码器（400M参数）。Kimi-VL支持单图、多图、视频和长文档等多模态输入，在图像感知、数学、多学科题目、OCR等任务中表现出色。

Kimi-VL是什么

Kimi-VL 是月之暗面开源的轻量级多模态视觉语言模型，底座是轻量级 MoE 模型 Moonlight（16B 总参数，2.8B 激活参数）和原生分辨率的 MoonViT 视觉编码器（400M 参数）。单图、多图、视频、长文档这些输入都支持，图像感知、数学、多学科题目、OCR 等任务里表现不错，长上下文（128K）和复杂推理是它的强项。数学推理、长视频理解这些任务上也表现优异，超越了GPT-4o等模型。它还推出了支持长思考的 Kimi-VL-Thinking，基于长链推理微调和强化学习，激活参数只有 2.8B，在推理难度较高的基准测试里，部分成绩接近甚至超过了超大尺寸的前沿模型。

最新开源的 Kimi-VL-A3B-Thinking-2506 版本，多模态推理基准上的准确性提升明显，思考长度减少了 20%。视觉理解也强了不少，能处理更高分辨率的图像，高分辨率感知和 OS-agent 接地基准测试进步显著（V*Benchmark 上得分 83.2，ScreenSpot-Pro 上 52.8，OSWorld-G 上 52.5）。图像理解、图表推理、数学计算这些领域都表现不错，还支持特定回答模式和思考链。

Kimi-VL的主要功能

多模态信息输入：单图、多图、视频、长文档都能输入。
图像细粒度感知：把图像拆开细看，复杂的细节和场景都能识别出来。
数学和逻辑推理：多模态数学题和逻辑推理任务里表现不错，能结合视觉信息做复杂计算。
OCR和文本识别：光学字符识别（OCR）是它的强项，图里的文字能准确读出来。
智能体应用：Agent 任务也支持，比如屏幕快照解析、智能体导航，视觉和文本交织的场景能处理。
长思考能力：Kimi-VL-Thinking 版本在复杂任务里能往深一层推理。

Kimi-VL的技术原理

架构设计：
- 视觉编码器（MoonViT）：基于 400M 参数的 Vision Transformer 架构，直接按原生分辨率处理图像，不需要切块或拼接。借了 NaViT 的打包方法，图像被划成图像块，展平后串成一维序列，和语言模型共用同一套算子和优化方法。
- 多层感知器投影模块（MLP Projector）：两层 MLP 把视觉编码器和语言模型接起来。像素重排压缩图像特征的空间维度，再投到语言模型需要的嵌入维度。
- 混合专家（MoE）语言模型（Moonlight）：轻量级 MoE 架构，6B 总参数、2.8B 激活参数。初始化用的是预训练阶段的中间检查点，那个检查点已经处理过 5.2T token 的纯文本数据，激活了 8K 的上下文长度。之后用混合训练方案继续预训练，多模态和纯文本数据又喂了 2.3T token。
预训练阶段：
- 独立 ViT 训练：视觉编码器单独训练，先把视觉特征提取的能力练扎实。
- 联合训练：分预训练、冷却、长上下文激活三个阶段，语言能力和多模态能力一起增强。
- 后训练阶段：分 32K 和 128K 上下文两步做。先用长链推理（Long-CoT）微调，把长思考能力激活、加强，再用强化学习往上推一层推理能力。
性能优化：128K 的上下文窗口，长文本和长视频里的信息能精准检索。原生分辨率编码器 MoonViT 在超高分辨率视觉任务里，用较低的计算开销维持高准确率。长思维链（Long CoT）激活加强化学习，Kimi-VL-Thinking 在复杂任务里能推理得更深。

Kimi-VL的性能优势

高智力：多模态推理和多步骤 Agent 任务表现都不错，文本处理也不比纯文本语言模型差。MMMU、MathVista、OSWorld 这些基准上，Kimi-VL 不靠“长思考”也能拿到不错的成绩。
长上下文：上下文窗口有 128K，长视频和长文档任务里，比如 LongVideoBench、MMLongBench-Doc，表现比同级别模型好不少，海量信息能精准检索和理解，复杂任务拿到的上下文也更完整。
更强的视觉能力：和别的开源视觉语言模型比，视觉感知、视觉世界知识、OCR、高分辨率屏幕快照解析几个场景里，优势都比较明显。复杂图像的细节捕捉、视觉信息的深度理解，它都能处理得比较准。