Mistral Small 3 - Mistral AI 推出的开源大语言模型

Mistral Small 3是什么

Mistral Small 3 是 Mistral AI 发布的开源大型语言模型，有240亿参数，基于 Apache 2.0 许可证开源。它专为低延迟任务设计，支持英语、中文、日语等多语言，推理和多语言处理都拿得住。架构还是Transformer，40层，上下文窗口 32k，长输入接得下。模型优化过本地推理，RTX 4090 GPU 或32GB RAM的笔记本就能跑，适合对话式AI、自动化任务和专业领域应用。

Mistral Small 3的主要功能

• 低延迟优化：Mistral Small 3 为低延迟任务而生，虚拟助手、自动化工作流、实时AI应用这类要求响应快的场景正合适。同样的硬件上，推理速度比 Llama 3.3 70B 快 3 倍以上。
• 高性能： 240 亿参数，性能可以媲美 Llama 3.3 70B、Qwen 32B 这些更大规模的模型。MMLU 基准测试里准确率超过 81%，延迟仅为 150 tokens/s。
• 多语言支持：支持多种语言，包括英语、法语、德语、西班牙语、意大利语、中文、日语、韩语等。
• 本地部署能力：适合看重数据隐私的场景，一块 NVIDIA RTX 4090 显卡，或一台 32GB 内存的 MacBook 就能运行。
• 开源与可定制：以 Apache 2.0 许可证开源，开发者可自由修改和部署，企业级应用也能用。
• 指令跟随与推理能力：经过指令微调，各类任务都能理解和执行：代码生成、数学计算、一般知识问答。

Mistral Small 3的项目地址

• 项目官网：https://mistral.ai/news/mistral-small-3/

Mistral Small 3的应用场景

• 虚拟助手：Mistral Small 3 可以当虚拟助手，快速接住用户需求，用自然语言交流。
• 客服系统：接进客服系统，常见问题自动回答，用户体验更顺。
• 工作流程自动化：在自动化工作流程里快速执行任务，把效率拉上来。
• 医疗诊断：微调之后可用于医疗诊断系统，快速给出诊断建议。
• 法律咨询：在法律领域给出专业意见，帮用户解答法律问题。