MiniCPM 3.0 - 面壁智能开源的端侧AI模型，4B参数性能超越GPT-3.5

发布于 2024-09-06 · MiniCPM 3.0是面壁智能推出的一款高性能端侧AI模型，具备4B参数，以较小的模型规模实现了超越GPT-3.5的性能表现。MiniCPM 3.0采用LLMxMapReduce技术，支持无限长文本处理，有效扩展了模型的上下文理解能力。在Function Calling方面，MiniCPM 3.0的性能接近GPT-4o，展现了出色的端侧执行能力。

MiniCPM 3.0是什么

MiniCPM 3.0是面壁智能推出的端侧AI模型，4B参数，用不大的模型规模跑出了超过GPT-3.5的表现。MiniCPM 3.0采用LLMxMapReduce技术，长文本没有长度上限，上下文理解能力因此扩展开来。Function Calling这块，MiniCPM 3.0的表现接近GPT-4o，端侧执行复杂指令的能力算得上一项亮点。MiniCPM 3.0还带了RAG三件套，包含检索、重排序和生成模型，中文检索和内容生成的质量提升明显。MiniCPM 3.0已经全面开源，量化后模型只占2GB内存，端侧部署很合适，数据留在本地，安全性和隐私性也有保障。

MiniCPM 3.0的主要功能

超越性能：只有4B参数，性能却超过了GPT-3.5，语言处理能力并不含糊。
无限长文本处理：采用LLMxMapReduce技术，文本输入可以无限长，绕开了传统大模型的上下文长度上限。
端侧优化：模型量化后只要2GB内存，手机、平板这类端侧设备跑起来没什么压力。
Function Calling：在端侧设备上就能做Function Calling，复杂的用户指令也能看懂并执行。
RAG三件套：包括MiniCPM-Embedding（检索模型）、MiniCPM-Reranker（重排序模型）和LoRA插件（生成模型），信息检索和内容生成都能覆盖。
开源模型：模型代码和权重都已开源，社区可以拿去用，也可以接着改。
安全性和隐私保护：作为端侧模型，MiniCPM 3.0的数据在本地处理，用户隐私和数据安全更有保障。
多任务性能：开放域问答、多跳问答、对话系统、事实核查和信息填充这些任务上，成绩都不错。

MiniCPM 3.0的技术原理

LLMxMapReduce技术：一种长文本分帧处理技术，让模型能处理超出原始内存限制的文本。做法是把长文本切成小块（也就是“帧”），逐块处理完整个文本，“无限”长文本就是这么来的。
量化技术：MiniCPM 3.0用量化技术把内存需求压到2GB，资源有限的端侧设备也能跑，性能损失不大。
Function Calling：简单说就是模型能理解并执行用户指令，过程中会调用外部的应用或服务。MiniCPM 3.0在这方面接近GPT-4o，在端侧设备上跑复杂任务是有戏的。
RAG（Retrieval-Augmented Generation）：一种结合检索（Retrieval）和生成（Generation）的技术，模型会先从大量数据里检索相关信息，再结合这些信息生成更准确的回答。MiniCPM 3.0的RAG三件套包括：
- MiniCPM-Embedding：专门做检索的模型，能从大规模数据集里找出相关信息。
- MiniCPM-Reranker：把检索到的候选答案重新排一遍，让更相关的排在前面。
- LoRA插件：针对RAG场景调过的生成模型，能拿检索到的信息写出连贯、准确的文本。
模型微调：MiniCPM 3.0可以针对特定任务做微调，适配不同的场景和需求。具体做法是在特定数据集上继续训练，把该任务上的表现再提一提。
高效训练方法：面壁智能在训练方法和数据质量上下了功夫，目的是提高模型的“知识密度”，也就是模型能力与参数量的比值。模型大小不变，性能还能往上走。