MiniMax-01 - MiniMax开源的全新系列模型

发布于 2025-01-15 · MiniMax-01是MiniMax推出的全新系列模型，包含基础语言大模型MiniMax-Text-01和视觉多模态大模型MiniMax-VL-01。MiniMax-01首次大规模实现线性注意力机制，打破传统Transformer架构限制，参数量达4560亿，单次激活459亿，性能比肩海外顶尖模型，能高效处理全球最长400万token上下文。

MiniMax-01是什么

MiniMax-01 是 MiniMax 的新系列模型，包含语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。MiniMax-01 第一次把线性注意力机制做到大规模落地，绕开了传统 Transformer 架构的限制：参数量 4560 亿，单次激活 459 亿，性能比肩海外顶尖模型，最长能处理 400 万 token 的上下文。MiniMax-01 系列以极致性价比提供 API 服务，标准定价不高，长文任务和多模态理解这些方面表现都不错。

MiniMax-01的性能表现

参数量与激活量：模型参数量高达4560亿，单次激活459亿，综合性能比肩海外顶尖模型。
超长上下文处理能力：最长能处理 400 万 token 的上下文，是 GPT-4o 的 32 倍、Claude-3.5-Sonnet 的 20 倍。
主流测评结果：大多数任务上，它和海外公认最先进的两个模型——GPT-4o-1120 和 Claude-3.5-Sonnet-1022——基本打平。
长文任务优势：长文任务里它的性能衰减最慢，比 Google 的 Gemini 稳。
处理长输入效率：复杂度接近线性，这一点比多数全球顶尖模型都占优。

MiniMax-01的主要功能

语言理解与生成：
- 文本摘要：能够从长篇文章中提炼关键信息，生成简洁准确的摘要。
- 翻译：实现不同语言间的准确转换，保持语义的完整性和准确性。
- 问答：基于给定文本或自身知识回答问题。封闭问答针对特定文本内容，开放域问答涵盖更广泛的知识范围。
多模态理解：
- 图文匹配：判断文字是否准确描述了图片内容，用于图像标注、内容审核等场景。
- 图像描述生成：根据图片生成通顺、准确的描述文本，帮助理解图像中的元素及布局关系。
- 视觉问答：结合图片信息回答涉及视觉内容的问题。
长上下文处理：400 万 token 的上下文够长，读专业书、协助编程项目、分析长篇文档这些实际需求都能满足，复杂 Agent 系统也有了个底子。

MiniMax-01的技术原理

线性注意力机制
- 核心思想：传统 Transformer 里计算量最大的自注意力，用数学技巧改写成了线性复杂度，长序列处理起来才不吃力。
- Lightning Attention：线性注意力的一种优化实现，靠分块把计算拆成块内和块间，块内用左乘积、块间用右乘积，整体复杂度维持在线上，长序列效率就上来了。
混合架构
- 架构设计：每 8 层里 7 层用线性注意力，剩下 1 层用传统 SoftMax 注意力，两种机制的长处都留着，长上下文任务上尤其见效。
- 性能验证：混合架构在长上下文任务里的性能和效率，是可以实测出来的：长上下文检索中，输入越长，MiniMax-Text-01 的性能衰减越慢。
模型优化与训练
- MoE优化：MoE 架构的通信开销用令牌分组重叠来压：通信和其他专家组的令牌处理叠着做，等待时间就短了。另外加了 EP-ETP 重叠策略，资源利用率上去，通信开销下来，训练也更快。
- 长上下文优化：先用“数据打包”少浪费算力；再设计 Varlen Ring Attention，对打包后的序列直接做环形注意力，省掉过度填充；LASP+ 算法则把线性注意力的序列并行流程理顺，计算完全并行，系统效率更高。
- lightning attention推理优化：批量内核融合、分离预填充与解码执行、多级填充、strided batched matmul 扩展，这几招都用上了，内存访问次数减少，推理更快。