Ministral 3B/8B - Mistral AI推出的两款新型AI小模型

Ministral 3B/8B是什么

Ministral 3B和8B是Mistral AI推出的两款新型AI小模型，为设备端计算和边缘使用场景而设计。知识、常识、推理、功能调用、效率这几项上，10亿参数以下的类别里它们定了新标准。Ministral 3B和8B支持高达128k的上下文长度，其中8B模型基于特殊的交错滑动窗口注意力模式，推理更快也更高效。设备端翻译、无需互联网的智能助手、本地分析、自主机器人这些应用都能落地，也可以和更大的语言模型配合，在多步骤工作流程里充当高效的一环。Ministral 3B和8B的API定价分别为每百万输入/输出令牌0.04美元和0.10美元，私有部署和无损量化都支持。

Ministral 3B/8B的主要功能

• 设备端计算：跑在智能手机、平板电脑、物联网设备这些终端上，推理在本地完成，隐私优先。
• 多语言翻译：没有网络连接也能做设备端翻译，适合需要即时语言转换的场合。
• 智能助手：当作不需要互联网的智能助手，用户的请求和任务在本地处理。
• 本地分析：适合要快速处理和分析数据的应用，数据不用发到云端。
• 云平台集成：Azure AI、AWS Bedrock、Google Cloud Vertex AI等多个云平台都有集成，调用起来方便。

Ministral 3B/8B的技术原理

• 参数优化：Ministral 3B和8B靠优化模型参数，模型体量保持较小，性能却能做得高效。
• 上下文长度：上下文长度最高到128k，更长的输入序列能处理，适合复杂任务。
• 交错滑动窗口注意力模式：这是Ministral 8B特有的技术，推理更快，内存也更省。
• 无损量化：模型提供无损量化支持，针对特定的使用案例还能把性能再提一提。

Ministral 3B/8B的项目地址

• 项目官网：mistral.ai/news/ministraux

Ministral 3B/8B的应用场景

• 设备端翻译：智能手机、平板电脑这些设备上能做即时语言翻译，网络连不上也没关系。
• 智能个人助理：当个人助理用，日程安排、提醒事项、信息查询都接得住，没有网络也能工作。
• 本地数据分析：企业和工业环境里，敏感数据在本地分析和处理，数据的隐私与安全保得住。
• 自主机器人：无人驾驶汽车、无人机、工业机器人这些领域，决策支持给得快，自然语言理解能力也在。
• 智能家居控制：装进智能家居设备，语音控制和自动化服务都有，家里的智能化程度上来。