Seed-Thinking-v1.5 - 字节跳动推出的最新思考模型

Seed-Thinking-v1.5是什么

Seed-Thinking-v1.5 是字节跳动推出的推理模型，混合专家（MoE）架构，总参数 200B，每次激活 20B。几个基准测试的成绩：AIME 2024 拿到 86.7 分，Codeforces 上 pass@8 达到 55.0 分，GPQA 拿到 77.3 分。非推理任务的胜率比 DeepSeek R1 高 8%，适用面比较宽。Seed-Thinking-v1.5 的开发涉及训练数据策划、强化学习框架、双层奖励系统和基础设施。模型将在 4 月 17 日通过火山引擎开放接口开放体验。

Seed-Thinking-v1.5的主要功能

• 卓越的推理能力：Seed-Thinking-v1.5 在 AIME 2024 拿到 86.7 分，Codeforces 上 pass@8 达到 55.0%，GPQA 拿到 77.3 分。STEM（科学、技术、工程和数学）和编程方面的推理能力可见一斑。
• 广泛的泛化能力：非推理任务上它也不弱，胜率比 DeepSeek R1 高 8%，复杂用户场景处理起来更有优势。
• 高效的基础设施：大规模训练这块，Seed-Thinking-v1.5 靠 HybridFlow 编程模型和流式推理系统（SRS），三层并行架构（张量/专家/序列并行）把训练效率提了上来。

Seed-Thinking-v1.5的技术原理

• 混合专家模型（MoE）架构：Seed-Thinking-v1.5 采用混合专家（Mixture-of-Experts, MoE）架构，总参数 200B，每次激活 20B。性能不打折，算力消耗却降了不少。
• 强化学习算法
  • VAPO 和 DAPO 框架：强化学习训练容易不稳，团队为此提出 VAPO（面向 Actor-Critic）和 DAPO（面向 Policy Gradient）两个框架，训练轨迹更稳，推理模型也优化得动。
  • 奖励建模：奖励建模有两套方案：Seed-Verifier 和 Seed-Thinking-Verifier。后者靠详细的推理过程，把奖励欺骗、预测不确定性、边界情况处理失败这些问题按住了。
• 数据处理与增强
  • 可验证问题：数学、编程、逻辑谜题都算，数据集经过严格筛选和增强（比如把选择题改成填空题），模型学到的是真推理，不是背答案。
  • 非可验证问题：创意写作、对话这类都算，低方差样本会被动态过滤掉，免得模型陷在局部最优里。
  • 数据增强策略：比如让模型先生成候选答案，再人工验证、改正参考答案，数据的可靠性就上去了。
• 分布式训练基础设施
  • 混合并行架构：张量并行（TP）、专家并行（EP）、上下文并行（CP）配在一起，大规模训练效率不低。
  • 流式生成系统（SRS）：异步处理加动态资源调度，长文本生成的效率提升 3 倍，传统同步框架的“拖尾问题”也绕开了。
  • 自动调优系统：按实时负载挑最合适的计算配置，内存和算力之间找平衡。

Seed-Thinking-v1.5的项目地址

• Github仓库：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5

Seed-Thinking-v1.5的性能表现

• 数学推理：AIME 2024 拿到 86.7 分，和 OpenAI 的 o3-mini-high 持平。
• 编程任务：Codeforces 上 pass@8 达到 55.0%，比 DeepSeek-R1 好。
• 科学问答：GPQA 准确率 77.3%，离顶尖模型不远。
• 非推理任务：非推理任务胜率比 DeepSeek R1 高 8%，泛化能力在线。

Seed-Thinking-v1.5的应用场景

• 科学问答：Seed-Thinking-v1.5 在科学问答上也不差，涉及科学概念和原理的复杂问题它能理解、能答，教育和研究场景都用得上。
• 创意写作：它能写跨时空对话，比如模拟历史人物的内心独白，或者把不同领域的术语揉进叙事里。内容创作、广告、剧本编写这些地方都用得上。
• 逻辑推理：Seed-Thinking-v1.5 处理需要逻辑分析和推理的问题有优势，法律分析、市场策略规划这类场景都合适。
• 教育辅助：Seed-Thinking-v1.5 的推理能力可以帮学生解数学和科学题，编程练习能给反馈，语言学习也能辅助。