Naive-N0.5-Flash – NaiveAI 开源的首个 MoE 大模型

先看看Naive-N0.5-Flash是什么

Naive-N0.5-Flash 是 NaiveAI 开源的第一个 MoE 大模型，主攻编程和 AI 研发场景。它在小米 MiMo-V2.5 基模上改造而来，309B MoE 架构，用了 SWA+DSA 混合稀疏注意力，原生支持 1M 上下文，整个网络没有全注意力层。这个模型是 AI 深度参与研发做出来的，配套的推理系统 NaiveRT 单流解码峰值能跑到 2122 tokens/s。

Naive-N0.5-Flash能干什么

• 长上下文编程：原生吃下 1M token 上下文，超长的代码仓库、长程软件工程任务都能处理。
• AI 研发辅助：读论文、复现方法、跑实验、分析结果都行，能直接扎进模型研发的全流程。
• 推理加速：配套 NaiveRT 推理系统，标准模式 50 tokens/s，开极速模式单流解码峰值可到 2,122 tokens/s。
• 自主科研：给定目标、算力预算和评测协议之后，可以从头到尾自己把研究推进下去。

Naive-N0.5-Flash在技术上是怎么做的

• SWA–DSA 混合稀疏注意力：模型底子还是 MiMo-V2.5 基模，但把开销很大的全局注意力层换成了 DeepSeek 稀疏注意力，再跟滑动窗口注意力按 5:1 交替堆叠，整个网络找不到一个全注意力层。SWA 负责 128 token 的局部窗口；DSA 则用一个轻量索引器给全历史打分，挑出 top-2048 token 交给主干计算。
• 轻量索引器设计：把 DSA 原来的 MLA 换成 GQA，索引器的查询头从 64 砍到 16，索引选择这条路径的耗时降了 44%，而在 1M 上下文的 Agent 任务上性能一点没掉。
• 三阶段训练流程：第一阶段在 50B token 上冻住主干，用 KL 散度损失把索引器往全注意力分布上对齐；第二阶段切到稀疏注意力继续预训练 3T token，让模型适应新的信息选择机制，同时把编程和研发能力练强；第三阶段用 200B token 做监督微调，学习率逐步衰减。全程保持 1M 上下文，top-k 召回分析和数值稳定性修复都是 AI 自动完成的。
• 混合序列并行与显存优化：SWA 只要局部窗口、DSA 要看全历史，两者不一样，就分别上 Halo 序列并行。显存方面把激活卸载的粒度细到算子级，top-k 索引显式留着、不让重计算改变选择结果，512 卡大概 4 天能训 1T token。
• NaiveRT 推理优化：靠巨型算子融合、PDL 让上下游 kernel 重叠执行、投机解码循环完全放在 GPU 上跑，把单轮解码延迟从 12.3ms 压到 3.4ms；还支持按随机种子做逐位确定性采样，RL 训练里采样和训练的 logprob 能对得上。所有优化都得通过端到端真实模型路径这一关才算数。

怎么把Naive-N0.5-Flash跑起来

• 确认硬件：得配支持 FP8 的 NVIDIA GPU，模型权重大概 315GB，显存还要再多留一些余量。
• 获取权重：去 Hugging Face 拉 NaiveAI/Naive-N0.5-Flash-FP8 这个仓库。
• 安装依赖：跑一条 pip install "transformers[torch,kernels]>=5.17.0" 就行。
• 加载模型：拿 AutoTokenizer 和 AutoModelForCausalLM，带上 trust_remote_code=True、device_map="auto" 加载进来。
• 构造输入：用 apply_chat_template 把对话消息传进去，生成输入张量。
• 生成结果：调 model.generate() 出回复，再用 tokenizer.decode() 把输出解码出来。
• 设置参数：一般场景建议 temperature=1.0、top_p=0.95。
• 复现高性能推理：想要 2,122 tokens/s 这个速度，可以拿 NaiveRT 的开源代码、Docker Compose 环境和配套基准脚本自己部署一套。

Naive-N0.5-Flash的几个核心优势

• 超长上下文：原生支持 1M token 上下文，而且整个网络没有全注意力层，长序列解码的开销比常规架构低不少。
• 推理速度顶尖：配套的 NaiveRT 单流解码峰值能到 2,122 tokens/s，投机解码延迟比 SGLang 低了 72.4%。
• 研发能力突出：PaperBench 63.2、MLE-bench-30 73.7%、NanoGPT SpeedRun 73.8s，好几项 AI 研发评测都压过同级模型。
• AI 原生研发：架构设计和系统优化都有 AI 参与，人负责定目标、AI 负责迭代执行，这套”AI 研发 AI”的范式真跑通了。
• 自主科研潜力：给好目标和预算就能端到端自己做研究，400 小时训出 AutoWM 世界模型，还登顶了 WorldArena。

Naive-N0.5-Flash的项目地址在哪

• 项目官网：https://naive.ai/en/research/
• GitHub仓库：https://github.com/NaiveAI-Labs/Naive-N0.5-Flash
• HuggingFace模型库：https://huggingface.co/NaiveAI/Naive-N0.5-Flash

Naive-N0.5-Flash与同类竞品对比

Naive-N0.5-Flash适合用在哪

• 研发帮手：帮研究员读论文、复现方法、跑实验、分析结果，PaperBench、MLE-bench 这类研发任务都对口。
• 长程软件工程活儿：靠着原生 1M 上下文啃大型代码仓库，跨文件理解、修 Bug、仓库级代码生成都能干。
• 长上下文 Agent 场景：终端操作、多轮工具调用这类长交互场景里，完整的任务历史都能保住。
• RL 训练底座：搭配 NaiveRT 的高单流解码速度和逐位确定性采样，长程强化学习的 rollout 能提速，掉队样本也会变少。