Skywork-OR1 - 昆仑万维开源的高性能系列推理模型

Skywork-OR1是什么

Skywork-OR1(Open Reasoner 1) 是昆仑万维推出的开源高性能推理模型系列，冲着大模型在逻辑推理和复杂任务求解上的能力瓶颈去的。Skywork-OR1 一共三款：Skywork-OR1-Math-7B 是数学推理模型，解题能力强；Skywork-OR1-7B-Preview 是通用模型，数学和代码都能兼顾；Skywork-OR1-32B-Preview 是旗舰版本，任务复杂度更高，推理能力也更强。性能上，Skywork-OR1 系列在多个基准测试里表现不错。比如 AIME24 和 AIME25 数学数据集上，Skywork-OR1-Math-7B 分别拿到 69.8% 和 52.3%，比同规模的主流模型高出一截。竞赛编程任务里，Skywork-OR1-32B-Preview 在 LiveCodeBench 数据集上的表现接近DeepSeek-R1（671B 参数），性价比很突出。

Skywork-OR1的主要功能

• 逻辑推理能力：逻辑推理能力强，复杂的逻辑关系和多步骤推理任务都能处理。
• 编程任务支持：能生成质量不错的代码，多种编程语言都支持。
• 代码优化与调试：代码优化和调试都能做，可读性和执行效率一起往上提。
• 多领域任务适应：通用推理能力，其他领域的复杂任务也能接。
• 多轮对话与交互：多轮对话里能顺着上下文一步步解题，推理过程更连贯。

Skywork-OR1的技术原理

• 高质量数据集：数学数据用 NuminaMath-1.5（约 89.6 万题）这类高质量数据集，从中筛出 AIME、Olympiads 等高难度子集，合计约 11 万道数学题。代码部分以 LeetCode 和 TACO 数据为主，经过严格筛选和去重，只保留单元测试完整、验证通过的题目，最终拿到 13.7K 条高质量代码问题。
• 数据预处理与过滤：每道题做多轮采样验证答案，「全对」或「全错」的题直接剔掉，免得无效数据干扰训练。再结合人类评审和 LLM 自动判题，语义不清、信息不全、格式错误、带无关内容的题目一并清理。
• 训练策略：用 GRPO 训练，多阶段逐步拉长上下文窗口，长链思维能力跟着长起来。训练前和训练中分别做离线、在线过滤，动态剔除无效样本，数据的有效性和挑战性都有保证。强化学习采样时温度调得高（τ=1.0），配上自适应熵控制，模型的探索空间更大，不容易早早卡在局部最优。
• 损失函数优化：训练中去掉了 KL 损失项，让模型放开探索、优化推理能力。策略损失在批次内所有 token 上取平均，优化过程更一致也更稳。
• 多阶段训练：多阶段训练把上下文窗口逐步拉长，模型在有限的 token 里也能高效完成任务，复杂的长链思维慢慢掌握。多阶段训练初期还会按特定策略处理截断样本，进入下一阶段时性能提升更快。

Skywork-OR1的性能表现

• 数学推理任务：
  • 通用模型 Skywork-OR1-7B-Preview 和 Skywork-OR1-32B-Preview 在 AIME24 与 AIME25 数据集上做到了同参数规模里的最好成绩，数学推理能力很强。
  • 专项模型 Skywork-OR1-Math-7B 在 AIME24 和 AIME25 上分别拿到 69.8 与 52.3，比当前主流的 7B 级别模型高出一大截，高阶数学推理是它的专业优势。
  • Skywork-OR1-32B-Preview 在所有 benchmark 上都超过了 QwQ-32B，AIME25 上和 R1 基本持平。
• 竞赛编程任务：
  • 通用模型 Skywork-OR1-7B-Preview 与 Skywork-OR1-32B-Preview 在 LiveCodeBench 数据集上取得了同等参数规模下的最优性能。
  • Skywork-OR1-32B-Preview 的代码生成和问题求解能力接近 DeepSeek-R1（参数规模 671B），模型体量压下来了，性价比很高，训练策略的先进性也由此体现。
• Skywork-OR1-Math-7B表现：
  • AIME24 上的训练准确率曲线一路稳定往上走，模型在 AIME24 和 AIME25 上分别达到 69.8% 和 52.3%，超过了 OpenAI-o3-mini (low)，在当前尺寸里属于 SOTA 水平。
  • Livecodebench 上从 37.6% 提到 43.6%，相比基线模型提升明显，说明训练方法的领域泛化性不错。

Skywork-OR1的项目地址

• 项目官网：https://capricious-hydrogen-41c.notion.site/Skywork-Open-Reasoner
• GitHub仓库：https://github.com/SkyworkAI/Skywork-OR1
• HuggingFace模型库：https://huggingface.co/collections/Skywork/skywork-or1

Skywork-OR1的应用场景

• 数学教育：帮学生解题，给思路和步骤，老师备课也能用。
• 科研辅助：研究人员拿它探索复杂模型、验证猜想、推导公式。
• 编程开发：生成代码框架、优化代码、辅助调试，开发效率能提一些。
• 数据分析：金融、商业等领域的决策支持，趋势预测和风险评估都能做。
• AI研究：当作研究平台用，推理模型的架构和算法改进可以在这里试。