s1 - 斯坦福和华盛顿大学推出低成本、高性能的AI推理模型

s1是什么

s1是斯坦福大学和华盛顿大学研究团队开发的AI推理模型，低成本、高性能。模型通过“蒸馏”技术，从谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取推理能力。训练只用了1000个精心挑选的问题和答案，成本不到50美元，耗时不到30分钟。在数学和编程测试里，S1的表现与OpenAI的o1以及DeepSeek R1等顶尖推理模型不相上下。

s1的主要功能

• 高效推理能力：S1模型专攻复杂推理，数学和编程是它的强项。竞赛级的难题也能解，比如AIME（美国数学邀请赛）的题目。S1模型在竞赛数学题上的成绩，比OpenAI的o1-preview模型最高高出27%。
• 低成本训练：S1模型训练只用了1000个精心挑选的问题和对应的推理轨迹，云计算费用不到50美元，训练时间不到30分钟，成本压得很低。
• 测试时扩展（Test-time Scaling）：S1模型靠预算强制技术在测试时动态调节计算量。要么强制结束思考过程，要么追加“Wait”指令拉长思考时间，模型就有机会重新检查答案、改正推理里的错误，性能也跟着提升。
• 开源与可扩展性：S1模型的代码、数据和训练方法都已在GitHub开源，研究者和开发者可以直接拿去用，也可以继续改。

s1的技术原理

• 数据集构建（s1K）
  • 数据来源：S1模型的数据集s1K里有1000个高质量问题，从数学、物理、化学等多个领域筛出来，推理任务的类型覆盖得比较全。
  • 筛选标准：筛选看三个标准：难度、多样性、质量。难度由模型表现和推理轨迹长度衡量，多样性看问题属于哪些领域，质量则靠数据格式和内容准确性来保证。
  • 最终选择：最后选出的问题横跨50个不同领域，多样性有了，代表性也够。
• 监督微调（SFT）
  • 模型选择：基础模型选的是Qwen2.5-32B-Instruct，这个模型本身在数学任务上就很强。
  • 训练过程：在s1K数据集上做监督微调，用了16个NVIDIA H100 GPU，训练时间26分钟。整个过程中，模型学的是从问题到推理轨迹、再到答案的映射关系。
• 预算强制（Budget Forcing）
  • 控制测试时计算量：测试时控制计算量，靠的是强制终止或延长模型的思考过程。具体有两种做法：
    • 强制终止：生成的思考令牌数一旦超过预设上限，就强制结束思考，让模型直接给出答案。
    • 追加“Wait”：想让它多想想，就在当前推理轨迹后面追加“Wait”指令，模型会顺着继续往下探索。
• 测试时扩展方法的评估
  • 评估指标：评估不同的测试时扩展方法，看三个指标：控制性（Control）、扩展性（Scaling）和性能（Performance）。
  • 方法比较：S1模型比较了多种测试时扩展方法，有基于令牌的控制、基于步骤的控制，也有基于类别的控制。比下来，预算强制在控制性、扩展性和性能三项上都占优。

s1的项目地址

• Github仓库：https://github.com/simplescaling/s1
• HuggingFace模型库：https://huggingface.co/simplescaling/s1-32B
• arXiv技术论文：https://arxiv.org/pdf/2501.19393

s1的应用场景

• 科学问题：高难度的科学问题也能交给S1，比如物理、化学、生物里的竞赛级题目。
• 智能辅导系统：S1模型可以作为智能辅导系统的核心，学生遇到复杂的数学、科学问题，它能给出详细的推理步骤和讲解。
• 自动问答系统：S1模型可以用于自动问答系统，尤其是需要多步推理的场景，比如接住用户抛来的高难度问题。
• 文本生成：需要逻辑推理、结构复杂的文本生成任务，S1也能写出质量不错的内容。
• 智能客服：智能客服系统里，复杂一点的用户问题可以交给S1，回答更准，处理也更快。
• 数据分析：数据分析和预测这类需要推理、逻辑分析的任务，S1同样能派上用场。