Kimi K3 - 月之暗面推出的 2.8 万亿参数开源大模型

Kimi K3是什么

Kimi K3 是月之暗面推出的 2.8 万亿参数开源大模型，底座是 KDA 混合线性注意力机制和注意力残差技术，视觉理解是原生带的，上下文窗口 100 万 token。Kimi K3 是全球首个开源的 3 万亿级别模型，面向长程编程、知识工作和推理这类前沿智能场景，编程、Agent、知识工作评测里都到了前沿水平。

Kimi K3的主要功能

• 长程编程：大型代码库能看懂也能改，长时间工程任务可以持续做完，终端工具也会协调使用。
• 视觉推理：软件工程和视觉推理结合，拿截图和视觉反馈去优化游戏开发、前端和 CAD。
• 内核优化：在 GPU 沙箱里独立分析、重写、验证 GPU 内核优化，24 小时内不断迭代。
• 编译器开发：从零写一个类 Triton 的 GPU 编译器（MiniTriton），优化到 PTX 代码生成的整条流水线都做出来。
• 交互式创作：3D 推理、编程、视觉能力放在一起，概念能变成可玩的交互体验。
• 芯片设计：靠开源 EDA 工具自己做芯片构建、优化和验证，模型可以给自己设计芯片。
• 科研编程：科学文献和可执行代码接上了，复杂计算研究流程的实现、验证、分析都能自主完成。

Kimi K3的技术原理

• KDA 混合线性注意力机制：Kimi K3 基于 Kimi Delta Attention（KDA）构建，这是一种混合线性注意力机制，让信息在更长序列和更深模型里流得更顺，长上下文处理能力因此提升。
• 注意力残差（Attention Residuals）：引入 Attention Residuals 技术，深层网络里的信息传递更稳，模型变深之后可能出现的梯度衰减问题得到缓解。
• Stable LatentMoE 稀疏架构：走 Mixture of Experts（MoE）架构，配上 Stable LatentMoE 框架，896 个专家里只高效激活 16 个，计算效率和参数利用率都上去了。
• 原生视觉与长上下文支持：视觉理解是原生支持的，上下文窗口 100 万 token，超长文本和多模态输入可以同时处理。

如何使用Kimi K3

• 官方入口：打开 Kimi、最新版 Kimi 手机 App 或 Kimi Work 桌面客户端，直接就能调 Kimi K3 对话。
• 编程专用：通过 Kimi Code 客户端用 K3，长程编程、代码库理解、终端工具协调这些开发场景都做了优化。
• API 接入：调用 Kimi API，把 K3 接进自己的应用或工作流，自动化任务和第三方系统对接都能做。
• 思考强度调节：目前默认开启 max（极致）思考模式，后续会支持 low 和 high 两档强度，按任务复杂度切换。

Kimi K3的核心优势

• 规模领先：全球首个开源 3 万亿级别模型，过去 12 个月里有 9 个月保持开源模型的规模上限。
• 长程自主：长时间工程任务里表现稳定，24 小时自主内核优化、48 小时芯片设计 Agent 运行都撑得住。
• 成本效率：在 Kimi Code Bench 和 BrowseComp 等评测里，花更低的成本达到了接近顶级闭源模型的性能。
• 截图驱动迭代：代码和实时截图之间可以来回迭代，视觉反馈真正进了循环（vision in the loop）。
• 端到端科研：能自己读文献、实现数值流程，还能发现已发表公式里不一致的地方，最后生成交互式仪表盘。

Kimi K3的项目地址

• 项目官网：https://www.kimi.com/blog/kimi-k3
• GitHub仓库：https://github.com/MoonshotAI/Kimi-K3
• HuggingFace模型库：https://huggingface.co/collections/moonshotai/kimi-k3
• 技术论文：https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf

Kimi K3的同类竞品对比

维度	Kimi K3	Claude Fable 5
参数规模	2.8T（开源）	闭源
Terminal Bench	88.3（第一）	84.6
DeepSWE	67.5	70.0（第一）
FrontierSWE	81.2（第二）	86.6（第一）
Program Bench	77.8（第一）	76.8
SWE Marathon	42.0（第一）	35.0
BrowseComp	91.2（第一）	88.0
GDPval-AA	1668.0	1760.0（第一）
JobBench	52.9（第二）	57.4（第一）
CharXiv	91.3（第二）	93.5（第一）
Zerobench	41.0（第二）	46.0（第一）
Automation Bench	30.8（第一）	29.1
SpreadsheetBench 2	34.8（第一）	34.7（第二）
开源生态	完全开源	闭源

Kimi K3的应用场景

• 大型软件工程：大型代码库可以独立分析和重构，需要几小时甚至几天的复杂开发任务也能持续推进。
• GPU 内核与编译器优化：高性能计算场景里，GPU 内核可以自动优化，领域专用编译器也能从零搭。
• 交互式 3D 内容开发：结合视觉反馈快速迭代，概念能变成可玩的 3D 游戏、模拟器或可视化作品。
• 科研计算与数据分析：自己读文献、复现数值流程、评估大量状态方程，最后生成交互式结果仪表盘。
• 硬件芯片设计：基于开源 EDA 工具链，芯片架构设计、优化、验证都自主完成，模型可以给自己设计芯片。