Step 3.5 Flash - 阶跃星辰最新开源的基座模型

Step 3.5 Flash是什么

Step 3.5 Flash 是阶跃星辰最新开源的基座模型，面向 Agent 场景。架构是稀疏 MoE，总参数 1960 亿，每个 token 只激活 110 亿，参数规模和推理成本之间取了个平衡。Step 3.5 Flash 的推理速度最高 350 TPS，上下文能到 256K，数学推理、代码生成（SWE-bench 74.4%）和 Agent 任务上的成绩跟顶级闭源模型有一拼。Step 3.5 Flash 已经开源，支持 vLLM、SGLang、llama.cpp 等框架，在 Mac Studio M4 Max、NVIDIA DGX Spark 这类消费级硬件上也能本地跑，数据留在本地，性能也不打折。

Step 3.5 Flash的主要功能

• 高速推理：靠 MTP-3 技术，生成速度最高 350 TPS，多步推理也能即时出结果。
• Agent 能力：专为智能体任务设计，SWE-bench Verified 上拿到 74.4%，长链条的复杂任务也扛得住。
• 高效长文本：上下文窗口 256K，混合注意力机制把长文本的计算开销压下来。
• 本地部署：针对消费级硬件做了优化，Mac Studio M4 Max、NVIDIA DGX Spark 这类设备上跑得动。
• 代码生成：写代码是强项，自动调用工具、输出结构化推理结果都支持。

Step 3.5 Flash的技术原理

• 稀疏 MoE 架构：骨干是 45 层 Transformer，每层 288 个细粒度路由专家加 1 个共享专家。推理时只激活 Top-8 专家，每 token 实际算约 110 亿参数，1960 亿总参数的模型能力，推理成本却按小模型算。
• MTP-3 多 Token 预测：专用预测头由滑动窗口注意力和密集前馈网络组成，一次前向传播并行出 4 个 token。典型场景下生成速度提到 100-300 tok/s，峰值 350 tok/s，解码延迟明显下来了。
• 混合注意力机制：滑动窗口注意力与全局注意力按 3:1 交替排布。前者盯局部上下文，后者抓长距离依赖，256K 长文本下计算复杂度控得住，效率和性能都不亏。
• 推理优化策略：专家并行（EP8）加张量并行（TP8）组合部署，再配 FP8 量化，显存带宽压力小一些。投机解码和 MTP 一起用，Hopper GPU 上的服务化部署效率不低。

Step 3.5 Flash的项目地址

• 项目官网：https://static.stepfun.com/blog/step-3.5-flash/
• GitHub仓库：https://github.com/stepfun-ai/Step-3.5-Flash/
• HuggingFace模型库：https://huggingface.co/stepfun-ai/Step-3.5-Flash
• arXiv技术论文：https://arxiv.org/pdf/2602.10604

Step 3.5 Flash的应用场景

• 智能编程开发：可以当 Claude Code、Codex 这类工具的底层模型，代码生成、自动调试、软件工程任务都接得住，SWE-bench Verified 通过率 74.4%。
• 自主智能体执行：深度研究、网页信息检索、跨平台数据对比，这类要长链条推理的 Agent 场景都用得上。
• 实时对话交互：生成速度 100-350 TPS，低延迟聊天机器人、在线教育辅导、智能客服这些要即时响应的应用撑得住。
• 长文本分析处理：学术论文研读、法律合同审查、大型代码库理解都能做，海量信息里该提取的提取，该整合的整合。
• 端侧隐私计算：可以部署在 Mac Studio M4 Max、NVIDIA DGX Spark 这类本地设备上，金融、医疗、企业办公的敏感数据能留在内部处理。