dots.llm1 - 小红书hi lab开源的文本大模型

dots.llm1是什么

dots.llm1 是小红书 hi lab 开源的中等规模 Mixture of Experts（MoE）文本大模型，1420 亿参数，激活 140 亿。预训练用了 11.2T 高质量 token，配合 Interleaved 1F1B 流水并行和 Grouped GEMM 优化，训练效率提升明显。数据处理流程经过专门设计，再加上两阶段监督微调，dots.llm1 在中英文通用场景、数学、代码这些任务上表现不错，跟 Qwen2.5-72B 这类模型比也有竞争力。hi lab 还把 Pretrain 阶段每 1T token 的 checkpoint 和 Instruct 模型开源了，大模型社区做研究多了不少底料。

dots.llm1的主要功能

• 多语言文本生成：中英文文本都能写，写作辅助、内容创作这些场景都用得上。
• 复杂指令遵循：复杂指令读得懂、执行得了，数据整理、代码生成这类任务能接。
• 知识问答：知识问答能用，要什么信息直接问。
• 数学与代码推理：数学计算和代码推理都行，解题、写点简单代码没问题。
• 多轮对话：支持多轮对话，与用户进行自然流畅的交流，理解上下文并给出恰当回应。

dots.llm1的技术原理

• Mixture of Experts (MoE) 架构：dots.llm1 是基于 Decoder-only Transformer 的 MoE 模型，专家配置是 6in128，也就是总共 128 个专家、每个 token 最多激活 6 个。1420 亿参数里，每次前向传播只激活 140 亿，门控机制挑最相关的专家来算，计算效率就上去了。
• 高效的数据处理和训练框架：预训练用了 11.2T 高质量 token，来源有 Common Crawl，也有自建 Spider 抓的 web 数据，多轮清洗过滤之后质量才过关。训练侧靠 Interleaved 1F1B 流水并行的 AlltoAll overlap 和高效 Grouped GEMM，效率提升明显。
• 两阶段监督微调：全量数据先跑两轮基础训练，采样、动态学习率这些手段一起上，先把模型的潜力放出来。数学、代码这类特定领域再加拒绝采样微调，用验证器挑出高置信度的重要样本，推理性能还能往上走。
• 学习率调度与超参数优化：学习率走 WSD 调度：稳定阶段保持 3e-4，训练 10T token 语料；退火阶段分两步，训 1.2T token 语料，学习率逐步往下调。训练过程中 batch size 等超参数也在调，防止出现 loss spike。

dots.llm1的项目地址

• GitHub仓库：https://github.com/rednote-hilab/dots.llm1
• HuggingFace模型库：https://huggingface.co/rednote-hilab
• arXiv技术论文：https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf

dots.llm1的应用场景

• 内容创作：文案、故事、新闻都能帮着写，灵感卡住时给点思路和写法建议。
• 教育学习：语言学习、编程教育、知识问答都能用，学习者提升起来快一些。
• 商业办公：智能客服可以搭，数据分析和市场调研报告也能生成，企业运营省点力气。
• 编程开发：代码片段、代码文档能生成，调试也能给建议，开发效率高一些。
• 个人助理：日程、任务、信息这些琐事交给它管，工作和生活都省点力气。