Phi-3.5

定义

Phi-3.5是微软Phi小语言模型家族的一个版本系列，定位为可在算力与内存受限设备上运行的开源模型^[1]。按微软公布的说明，这一系列包含三款模型：38.2亿参数的Phi-3.5-mini-instruct、采用混合专家结构的Phi-3.5-MoE-instruct，以及兼具文本与图像输入能力的Phi-3.5-vision-instruct^[2]。它们都支持128K token的上下文长度，并针对遵循用户指令做了优化^[2]。

Phi-3.5-mini属于稠密解码器 Transformer，沿用Phi-3 Mini的标记器；Phi-3.5-MoE则由16个参数量为38亿的专家组成，运行时激活其中2个，约合66亿活动参数，标记器词表大小为32,064。三款模型的名字都带有instruct，表明它们经过指令微调，可直接按对话格式使用^[2]。

原理

Phi系列的基本思路是用高质量、推理密集的数据培训较小的模型，把有限参数容量留给推理而不是记忆事实^[5]。Phi-3.5的训练数据包括经过筛选的公开文档、教育类数据与代码，以及合成的类似教材的文本，用来教授数学、编程与常识推理^[5]。微软称Phi-3.5-mini的训练语料共3.4万亿个token，公开数据的知识截止时间为2023年10月^[6]。

Phi-3.5-MoE引入了混合专家机制。模型内部划分为多个专家子网络，门控路由根据输入选择参与计算的专家，因此总参数量远大于单次推理实际使用的参数量^[7]。按微软文档，该模型为16×38亿参数，使用2个专家时活动参数约66亿。MoE在预训练和推理阶段通常比同等参数量的稠密模型更快，但由于全部专家都需驻留显存，对内存的需求更高^[8]。

Phi-3.5-vision在Phi-3 Mini语言模型之上叠加图像编码器、连接器与投影器，把视觉特征映射到语言模型的表示空间，从而处理单图与多图任务^[9]。三款模型都经历监督微调与直接偏好优化等后训练步骤，MoE版本还使用了近端策略优化，以提升指令遵循与安全性^[1]。

发展历程

Phi-3.5建立在Phi-3的基础之上。微软于2024年4月发布Phi-3技术报告，其中phi-3-mini为38亿参数，经3.3万亿token训练，可在手机上本地推理。同一份报告已预告将推出phi-3.5-mini、phi-3.5-MoE与phi-3.5-Vision三款模型，用于加强多语言、多模态与长上下文能力。

2024年8月20日至21日，微软正式发布Phi-3.5系列，三款模型同时上线Hugging Face，并采用MIT许可^[2][10]。相较同年6月的Phi-3 Mini版本，Phi-3.5-mini增加了后训练数据，在多语言、多轮对话和推理方面有明显提升，并补充了中文等语种的支持^[6][8]。Phi-3.5-vision则在前代Phi-3-vision基础上加入多帧、多图输入能力，官网模型卡将其发布日期记为2024年8月20日^[11][10]。

训练规模方面，微软公布的数据显示：Phi-3.5-mini在512块H100-80G显卡上训练10天，语料3.4万亿token；Phi-3.5-MoE在同样配置下训练23天，语料4.9万亿token；Phi-3.5-vision使用256块A100-80G显卡训练6天，语料5000亿token^[7][12]。

应用

Phi-3.5-mini面向内存或算力受限环境以及低延迟场景，可完成代码生成、数学解题和逻辑推理等任务，微软同时将其定位为长文档摘要、长文档问答与信息检索的候选模型^[2]。在衡量长上下文代码理解的RepoQA基准上，微软称该模型的成绩高于参数更大的Llama-3.1-8B-instruct和Mistral-7B-instruct^[2]。

Phi-3.5-MoE面向需要较复杂推理的任务，微软称其在语言推理、数学和代码任务上的表现优于同量级开源模型，并与Gemini 1.5 Flash、GPT-4o-mini 相当。Phi-3.5-vision则用于通用图像理解、光学字符识别、图表与表格解析、多图对比，以及多图或视频片段的摘要^[11]。三者也可通过Azure AI平台的模型目录以推理接口方式调用^[1]。

局限

参数量小带来容量限制。微软在模型卡中说明，38亿参数的Phi-3.5-mini没有足够容量储存大量事实知识，用户可能遇到事实性错误，建议在检索增强生成(RAG)配置下搭配搜索引擎使用^[6]。模型卡还指出，Phi系列主要以英文文本训练，非英语语种的表现在往更弱，训练数据中代表性不足的英语变体也可能比标准美式英语差^[13]。

训练数据的构成也限定了代码能力范围。微软说明Phi-3的训练数据以Python为主，常用库集中在typing、math、random一类，模型生成的Python脚本若调用其他包或其他语言，可靠性会下降^[13]。此外，Phi-3.5-mini默认启用Flash Attention，需要特定类型的GPU支持；在V100及更早的显卡上须改用eager注意力实现^[6]。

安全评估方面，微软的红队测试显示，模型在英语中可能拒绝生成不当内容，即使请求使用其他语言；同时模型对较长的多轮越狱对话更易受影响^[6]。微软同时声明，这些模型并非为所有下游用途设计和评估，开发者需自行评估准确性与安全性并遵守相关法规^[14]。

参见

• Phi-3 —— Phi-3.5所基于的前一代小语言模型系列。

• 混合专家模型 —— Phi-3.5-MoE采用的门控路由架构。

• Transformer —— Phi-3.5各模型共同采用的基础网络结构。

• Hugging Face —— Phi-3.5权重公开发布的平台。

• 检索增强生成 —— 微软针对小模型事实性不足提出的补充方案。