Phi-4 - 微软开源的14B参数小语言模型，擅长数学等领域的复杂推理

Phi-4是什么

Phi-4是微软的14B参数小语言模型，数学这类复杂推理和常规语言处理都拿得下。Phi-4的训练把数据质量放在核心位置，合成数据用了很大比例，STEM问答和数学竞赛题的表现因此上来了。Phi-4还加了新的训练范式midtraining，长文本能力变强，窗口长度可到16K。写代码也是Phi-4的强项，HumanEval基准测试上以82.6%的准确率压过其他开源模型（如70B的Llama 3.3和72B的Qwen 2.5）。Phi-4已经开源，在Hugging Face上能直接下载使用。

Phi-4的主要功能

• 问答能力：各种问题都能答，STEM（科学、技术、工程、数学）这块尤其在行。
• 数学问题解决：在美国数学竞赛AMC 10/12里得分超过90，数学推理能力看得出来。
• 编程任务：Phi-4读写代码都行，编程问题能自己解决。
• 长文本处理：靠midtraining这一阶段，Phi-4吃得下16K的上下文，召回率也保持得住。
• 复杂推理：MMLU、GPQA这些基准都测过，复杂推理任务扛得住。
• 安全交互：Phi-4在后训练阶段做了安全对齐，跟用户交互时守负责任AI的原则。

Phi-4的技术原理

• 合成数据训练：Phi-4的训练里合成数据占大头，数据靠多代理提示、自我修订和指令反转生成，推理和解题能力就是这么提上来的。
• midtraining阶段：midtraining夹在预训练和后训练之间，长文本能力靠它补上来。
• 长上下文数据选择：从高质量的非合成文本里挑长于8K tokens的样本，超过16K tokens的样本加权，凑到目标长度。
• 对比学习：用枢轴tokens搜索（PTS）找出对输出影响最大的关键tokens，对比学习数据的信噪比就高。
• 人类反馈：后训练结合人类反馈对比学习（Human Feedback DPO），正负样本对配得干净，输出更贴人类偏好。

Phi-4的项目地址

• 项目官网：introducing-phi-4
• HuggingFace模型库：https://hf-mirror.com/microsoft/phi-4
• arXiv技术论文：https://arxiv.org/pdf/2412.08905

Phi-4的应用场景

• 教育辅助：教育辅导用得上，STEM领域的复杂问题、数学和编程作业都能解答。
• 技术研究：科研里能读懂论文中的概念和数据，文献综述、数据分析有个帮手。
• 软件开发：软件开发时能生成代码、调错、实现功能。
• 智能助手：当智能助手用，查信息、管日程这些日常事务都接得住。
• 企业决策支持：大量数据能分析，市场趋势、风险评估和决策支持可以给企业用。