MiniCPM 4.0 - 面壁智能开源极致高效的端侧大模型

发布于 2025-06-08 · MiniCPM 4.0 是面壁智能推出的端侧大模型。模型分为 8B 和 0.5B 两种参数规模。8B 闪电稀疏版采用创新稀疏架构，能高效处理长文本任务；0.5B 版本以低计算资源消耗和高性能著称。

MiniCPM 4.0是什么

MiniCPM 4.0 是面壁智能推出的端侧大模型，主打效率。模型有 8B 和 0.5B 两种参数规模：8B 闪电稀疏版用了新的稀疏架构，长文本任务处理起来更省；0.5B 版本计算资源占用低，性能也不弱。自研的 CPM.cu 推理框架在极限场景下最高能提速 220 倍，常规情况下也有 5 倍提升。MiniCPM 4.0 支持在 vLLM、SGLang、LlamaFactory 等开源框架上部署，已经适配 Intel、高通、MTK、华为昇腾等主流芯片。

MiniCPM 4.0开源模型合集

MiniCPM4-8B：MiniCPM4的旗舰模型，拥有80亿参数，在8T tokens上训练。

MiniCPM4-0.5B：MiniCPM4的小型版本，拥有0.5亿参数，在1T tokens上训练。

MiniCPM4-8B-Eagle-FRSpec：用于FRSpec的Eagle头，加速MiniCPM4-8B的推测性推理。

MiniCPM4-8B-Eagle-FRSpec-QAT-cpmcu：用 QAT 训练的 FRSpec Eagle 头，把推测和量化结合起来，给 MiniCPM4-8B 做加速。

MiniCPM4-8B-Eagle-vLLM：vLLM 格式的 Eagle 头，用来加速 MiniCPM4-8B 的推测性推理。

MiniCPM4-8B-marlin-Eagle-vLLM：量化的vLLM格式Eagle头，加速MiniCPM4-8B的推测性推理。

BitCPM4-0.5B：应用极值三进制量化于 MiniCPM4-0.5B，把模型参数压成三进制值，位宽减少了 90%。

BitCPM4-1B：把极值三进制量化用在 MiniCPM3-1B 上，模型参数压成三进制值，位宽减少了 90%。

MiniCPM4-Survey：基于 MiniCPM4-8B，输入用户的查询，就能自动生成一篇可信的长篇调查论文。

MiniCPM4-MCP：基于 MiniCPM4-8B，输入用户的查询和可用的 MCP 工具，它会自动调用相关工具来满足需求。

MiniCPM 4.0的主要功能

高效双频换挡机制：MiniCPM 4.0-8B 版本会按任务特征自动切换注意力模式：长文本走稀疏注意力，计算复杂度低一些；短文本切回稠密注意力，保证精度。
极致推理速度提升：靠自研的 CPM.cu 推理框架，极限场景下最高能提速 220 倍，常规场景也有 5 倍提升。
模型瘦身与高效部署：稀疏架构加上低位宽量化，把模型体积缩小了 90%，性能也保得住。可以部署在 vLLM、SGLang、LlamaFactory 等开源框架上。
端侧推理优化：内置自研的 CPM.cu 端侧推理框架，从投机采样、模型压缩量化、端侧部署框架三方面做优化，带来 90% 的模型瘦身和速度提升。
多平台适配：已经适配 Intel、高通、MTK、华为昇腾等主流芯片，多种端侧设备上都能跑。
多种版本选择：有 8B 和 0.5B 两种参数规模，不同场景可以按需选。

MiniCPM 4.0的技术原理

稀疏注意力机制：MiniCPM 4.0-8B 用了可训练的稀疏注意力机制（InfLLM v2）。处理长文本时，每个词元（token）只需要和不到 5% 的其他词元算相关性，计算开销小了很多。
高效双频换挡：按任务特征自动切换注意力模式：长文本用稀疏注意力，计算复杂度低；短文本用稠密注意力，保证精度。
模型风洞 2.0：引入下游任务 Scaling 的预测方法，用来搜索并确定更合适的训练配置。
BitCPM：三值量化把模型参数的位宽压掉了超过 90%，模型小了一大截，性能仍然保得住。
高效训练工程：训练全面用 FP8 低精度计算，再配合多词元预测（Multi-token Prediction），训练效率更高。
自研推理框架：MiniCPM 4.0 内置自研的 CPM.cu 端侧推理框架，从投机采样、模型压缩量化、端侧部署框架三方面做优化，带来 90% 的模型瘦身和速度提升。