Mistral Small

定义

Mistral Small是Mistral AI发布的一系列开放权重语言模型，模型规模处于该公司所称70B参数以下的“小型”类别^[1]。它与其Ministral、Codestral、Pixtral等专向模型不同，被设计为覆盖企业常见生成式任务的通用底座，兼顾响应速度与部署成本^[4]。

每个版本通常同时提供预训练基础模型（Base）与指令微调模型（Instruct）两种权重，后者可直接用于对话和指令跟随任务^[2]。模型权重通过Hugging Face等平台公开下载，也可经Mistral AI的API与第三方推理服务调用^[5]。

原理

Small 3与3.1、3.2采用稠密（dense）Transformer结构，参数量约24B，即每个token的前向计算都会经过全部参数^[1]。分词使用词汇量约131k的Tekken分词器，较小的模型体积使其在量化后可以放进单张消费级显卡或统一内存的笔记本中运行^[6]。

Small 4改用混合专家（Mixture of Experts）结构：总参数119B，由128个专家组成，每个token只激活其中4个，实际参与计算的参数约6.5B，因此显存占用随总参数上升，而单token算力开销接近一个小模型^[7]。其自注意力与前馈层的分块调度可表示为：

$y = \sum_{i \in \mathrm{TopK}(g(x))} g_i(x)\, E_i(x),\quad K=4$

在推理层面，Small 3系列以低延迟为目标，采用32k上下文窗口，并原生支持函数调用与JSON结构化输出^[8]。3.1起上下文扩展到128k，并加入视觉编码分支以接收图像输入^[9]。

发展历程

Mistral AI在2025年1月30日发布Mistral Small 3，模型标识为Mistral-Small-24B-Instruct-2501，参数量24B，采用Apache 2.0许可证^[8]。该版本改变了此前Small系列使用Mistral研究许可证、限制商业部署的做法，被视为公司回归开放许可的标志^[10]。公司称其训练使用约8万亿token，未采用强化学习与合成数据^[11]。

2025年3月17日，Mistral Small 3.1（2503）发布，在保持24B参数与文本能力的同时增加图像理解，上下文长度提升到128k^[12]。同年6月20日，Mistral-Small-3.2-24B-Instruct-2506在Hugging Face上线，属于小版本更新，重点是提高指令遵循准确度、减少无限重复生成并改进函数调用模板^[5]。

按官方公布的对比数据，3.2的内部指令遵循准确率由3.1的82.75%升至84.78%，无限生成比例由2.11%降至1.29%，而MMLU则由80.62%微降至80.50%。2026年，Mistral AI推出Mistral Small 4，把推理、多模态与代码能力合并进同一套权重，并继续沿用Apache 2.0许可^[13]。

应用

Small 3被定位在需要快速响应的场景，例如虚拟助手与客服自动化、低延迟的函数调用，以及针对特定领域微调后的小型专家模型^[14]。由于可在单张RTX 4090或32GB内存的笔记本上量化运行，它也适用于对数据敏感、希望本地推理的机构^[6]。

3.1与3.2增加视觉与长上下文能力后，可用于文档解析、图表问答、代码库检索等任务，官方公布的DocVQA成绩超过94%^[15]。在机器人、汽车与制造业中，该系列被用于车载指令控制一类的实时交互^[6]。

部署方式包括自托管推理框架与托管API：官方推荐使用vLLM提供生产服务，社区则以Ollama、LM Studio等工具分发量化版本^[15]。部分云平台以按token计费的无服务器端点提供该模型^[14]。

局限

24B的稠密结构决定了Small 3系列的知识容量与复杂推理上限低于数百B级的大模型，官方材料也把需要更强推理的场景留给更大的商业模型^[1]。3.2的系统提示写明其知识库更新止于2023年10月1日，之后的事实需依赖检索或工具补充^[5]。

Small 3的32k上下文限制了对长文档的整体处理，视觉能力也直到3.1才具备^[9]。3.2在视觉基准上略有回退，平均视觉得分由3.1的81.39%降至81.00%，MMLU亦小幅下降，说明改进行为稳定性的同时存在能力取舍^[16]。

在部署侧，Small 4的119B总参数必须常驻显存，硬件门槛明显高于3.x版本；以bf16精度运行3.2的24B权重也需要约55GB显存^[15]。此外，部分推理框架对该系列的支持存在缺项，例如有平台声明不支持结构化生成^[17]。

参见

• Mistral AI —— 开发并发布Mistral Small系列的公司。

• 大型语言模型 —— Mistral Small所属的模型类别。

• 混合专家模型 —— Mistral Small 4采用的架构。

• Hugging Face —— 该系列权重的主要分发平台。

• vLLM —— 官方推荐用于部署该系列模型的推理框架。