Phi-4

定义

Phi-4是微软研究院开发的一款小型语言模型(small language model，SLM)，拥有140亿参数，属于稠密、仅含解码器的Transformer结构，主要面向文本输入与对话式提示。它是微软Phi系列模型的第四代主线产品，延续了该系列以较小参数规模追求较强推理能力的路线^[2]。

模型的上下文窗口为16000个词元(token)，预训练阶段仅按4000个词元的长度进行，随后通过一个中期训练阶段扩展到16000个词元^[3]。其权重以MIT许可证开放，允许包括商业用途在内的使用、修改与再分发^[4]。

原理

Phi-4延续了Phi-3-medium的架构思路，主要差别在于改用tiktoken分词器、词表规模约100352个词元，并将注意力窗口设为4000个词元，替代此前Phi-3-medium使用的2K滑动窗口^[5]。模型以标准的下一词元预测方式训练，训练数据由合成数据、网络改写文本、经过筛选的网页、代码以及购入的学术书籍与问答数据按比例混合而成^[3]。

在中期训练中，为支持更长序列，模型将旋转位置编码(RoPE)的基频提高到250000，并把最大学习率降至预训练阶段的十分之一，共使用约2500亿个词元，数据混合中约30%为新筛选的长上下文内容、70%为预训练阶段的回放词元^[3]。预训练与中期训练之后，模型经过监督微调与两轮直接偏好优化，以对齐人类偏好并改进安全性。

合成数据的比重是该模型设计的关键。微软在技术报告中指出，合成样本的推理链条由前序词元逐词生成，更接近模型在推理时实际需要产出的文本形态，因而比原始网页材料更便于模型学习分步骤的推理过程^[6]。最终的数据配比中，合成数据约占40%，网页及网页改写合计约30%，代码约20%，学术数据与书籍等定向获取来源约10%^[3]。

发展历程

2024年12月12日，微软研究院发布Phi-4及配套技术报告，并公布模型卡。该模型在1920块H100-80G显卡上训练21天，消耗约9.8万亿个词元，训练时段为2024年10月至11月。发布初期，模型只在Azure AI Foundry平台上以研究许可形式提供^[1]。

2025年1月，微软将Phi-4的权重以MIT许可证上传至Hugging Face，开发者可直接获取完整参数并用于商业项目^[1]。此后Phi-4由单一模型扩展为一系列衍生版本，包括2025年2月推出的Phi-4-mini与Phi-4-multimodal^[7]。

2025年4月30日，微软发布Phi-4-reasoning系列，其中Phi-4-reasoning与Phi-4-reasoning-plus以Phi-4为基础经监督微调得到，plus版本另加强化学习训练，另外还有面向算力受限环境的Phi-4-mini-reasoning^[8]。这些版本侧重通过拉长推理链来提升数学与科学问题的解答表现^[8]。

应用

微软将Phi-4的用途定位为语言模型研究与生成式人工智能功能的构建模块，主要面向内存和算力受限的设备、对延迟敏感的场景，以及需要推理与逻辑能力的任务，并以英语为主要优化方向。模型卡列出的评测覆盖多任务语言理解、竞赛数学、研究生级科学问答、复杂阅读理解、多语言小学数学、代码生成与事实性问答等基准。

在部署层面，Phi-4可通过Azure AI Foundry调用，也以开源权重形式在Hugging Face上分发，便于开发者本地微调和二次开发^[1]。其后推出的Phi-4-mini与Phi-4-multimodal还针对设备端执行做过优化，可借助ONNX Runtime部署到手机、个人电脑等终端^[9]。

局限

Phi-4的知识截止于2024年6月及更早的公开数据，模型是基于离线数据集训练完成的静态模型，不具备之后事件的知识。训练数据中多语言部分约占8%，模型主要以英语为优化目标，其他语种的支持程度相对有限。

模型卡明确指出，Phi-4并未针对所有下游用途进行设计与评估，开发者在高风险场景使用前需要自行评估并缓解准确性、安全性与公平性方面的风险。在代码任务上，训练数据以Python及常用包为主，若生成使用其他语言或第三方库的脚本，需人工核验其接口调用是否正确^[10]。

在长上下文方面，技术报告给出的HELMET基准结果显示，Phi-4在16000词元设置下的召回任务得分为99、检索增强生成任务为57、上下文学习为54，低于同期对比的GPT-4o在8000词元设置下的对应成绩^[3]。这表明其长文本处理能力与更大规模模型之间仍存在差距。

参见

• 小型语言模型 —— Phi-4所属的模型类别，指参数量较小、便于本地部署的语言模型。

• 微软研究院 —— Phi-4的开发机构，也是Phi系列模型的研发方。

• Transformer —— Phi-4所采用的神经网络架构基础。

• 合成数据 —— Phi-4预训练中占比最高的数据来源类型。

• 直接偏好优化 —— Phi-4后训练阶段用于对齐人类偏好的方法。

• Azure AI Foundry —— Phi-4首发时可调用该模型云平台。