k1.5 - Kimi推出的多模态思考模型

k1.5是什么

k1.5 是月之暗面Kimi推出的多模态思考模型，推理和多模态处理是它的重点。short-CoT（短链思维）模式下，数学、代码、视觉多模态和通用能力都超过了当时短思考的 SOTA 模型 GPT-4o 和 Claude 3.5 Sonnet，领先幅度高达 550%；long-CoT（长链思维）模式下，k1.5 追平 OpenAI o1 正式版，也是全球首个做到这一点的多模态模型。

k1.5 的设计和训练有四个关键点：长上下文扩展、改进的策略优化、简洁的框架、多模态能力。上下文窗口扩到 128k，再加上部分展开技术，推理的深度和效率都上了一个台阶。k1.5 通过 long2short 技术，把长链思维的优势搬到短链思维模型里。

k1.5的主要功能

• 多模态推理能力：k1.5 能同时处理文本和视觉数据，联合推理没问题，数学、代码、视觉推理这些领域都用得上。
• 短链和长链思维：短链思维模式下，k1.5 的数学、代码、视觉多模态和通用能力超过了 GPT-4、Claude 3.5 这类领先模型，领先幅度高达 550%；长链思维模式下，性能追平 OpenAI o1 正式版。
• 出色的数学与代码能力：k1.5 在数学推理和编程任务上都拿得出手，LaTeX 格式的数学公式输入尤其顺。
• 高效的训练和优化：上下文窗口扩到 128k，再加上改进的策略优化，k1.5 的训练效率更高，规划、反思、修正这些推理特性也显出来了。
• 深度推理能力：k1.5 擅长解决复杂的推理任务：难解的数学题、编程调试、工作里的难题都能接，用户手上更复杂的任务也敢往下走。

k1.5的技术原理

• 长上下文扩展（Long Context Scaling）：Kimi k1.5 把强化学习的上下文窗口扩到 128k，上下文一长，推理能力也跟着上去。关键在部分回滚（Partial Rollout）：重用之前的轨迹片段来生成新轨迹，不用每次都从头跑一遍，省下大笔算力。
• 改进的策略优化（Improved Policy Optimization）：强化学习公式建立在长链思维（Long-CoT）上，策略优化用的是在线镜像下降法（Online Mirror Descent）的变体；采样策略、长度惩罚、数据配方再调一调，算法性能又提了一截。
• 简洁的框架（Simplistic Framework）：Kimi k1.5 没有用蒙特卡洛树搜索、价值函数、过程奖励模型这些复杂组件，而是靠拉长上下文加策略优化把推理做起来。长上下文推理因此表现不错，规划、反思、修正也都在。
• 多模态联合训练（Multimodalities）：文本和视觉数据是联合训练的，两类信息一起处理，跨模态推理自然就有了。
• Long2Short 技术：Kimi k1.5 给出的办法是把长链思维模型的推理能力搬进短链模型，手段包括模型融合、最短拒绝采样、DPO（成对偏好优化）和 Long2Short RL（强化学习）。

k1.5的项目地址

• GitHub仓库：https://github.com/MoonshotAI/kimi-k1.5
• 技术论文：https://github.com/MoonshotAI/Kimi-k1.5/blob/main/Kimi_k1.5.pdf

如何使用k1.5

• 网页端：访问 Kimi 官网，打开就能用。
• 手机端：应用商店搜“Kimi 智能助手”下载，或者微信小程序里搜同名的。
• API 调用：开发者直接调 Kimi API。

k1.5的应用场景

• 复杂推理任务：Kimi k1.5 在深度推理上是主场，复杂数学题、编程调试、推理难题都处理得了。
• 跨模态推理：文本和视觉可以联合推理，数学题配图形分析、代码配图像理解这类任务它都能接。
• AI 智能助手：Kimi k1.5 当智能助手用也行，多轮对话里把需求摸清楚，再给出详细解答。
• 教育领域：教育场景中，Kimi k1.5 可以辅助教学，数学难题、编程练习、逻辑推理题都能帮学生过。
• 科研与开发：对于科研人员和开发者，Kimi k1.5 可以拿来做理论推导、代码生成、算法优化。它支持 LaTeX 格式的数学公式输入，在科研场景里更顺手。
• 多模态数据分析：Kimi k1.5 能处理多模态数据，需要文本加图像一起看的分析任务——图像标注、视觉问答之类——都用得上。