SmolVLM
SmolVLM 是由Hugging Face旗下团队开发的一系列紧凑型开源视觉语言模型(VLM)，可接收任意交错的图像与文本输入并输出文本[1]。该系列最初于 2024 年 11 月发布，主力版本参数量约 20 亿；其后又推出 2.56 亿与 5 亿参数的版本，最小者推理时占用显存不足 1GB，使多模态理解能够在手机、单板计算机等终端设备上离线运行[2]。
定义
SmolVLM 是一组参数规模在数亿至二十余亿之间的多模态模型，其输入可以是单张图像、多张图像、视频帧与文字问题的任意组合，输出为文本[1]。它属于视觉语言模型这一类别，即把图像编码为向量序列后交由语言模型处理，从而完成看图说话、看图答题一类任务[3]。
该系列模型以“小”为核心设计目标，面向显存和算力受限的设备，而不是追求在通用基准上取得最高分数[4]。模型权重以 Apache 2.0 许可发布，允许修改与再分发[5]。
按官方说明，模型训练语料与指令以英文为主，因此其自然语言输出主要面向英文场景[1]。模型本身只做理解与生成文本，不具备图像生成能力[6]。
原理
模型沿用了 Idefics3 的整体框架，由两部分拼接而成：前端是经过形状优化的 SigLIP 视觉编码器，后端是 SmolLM2 语言模型[1]。图像先被切成若干 384×384 的小块，每块单独编码后压缩为 81 个视觉标记；分辨率更高的图片则被拆成多个子图，另配一张缩小后的全图，以便同时保留细节与整体布局[1]。
视觉标记与文本标记拼接后一起送入语言模型，由同一套自注意力机制处理[7]。这种做法比纯文本模型需要长得多的上下文，因此研究团队把旋转位置编码的基数由 1 万提高到 27.3 万，并在长短文本混合数据上微调，最终为较大模型设置 16k 标记的上下文窗口，小模型则为 8k[7]。
为进一步削减标记数量，模型采用了像素重排(pixel shuffle)式的空间到深度压缩，把相邻像素合并进通道维度，压缩比取 4 时标记数降至原来的十六分之一；研究显示小模型偏好更激进的压缩，因为注意力开销随之下降[8]。处理视频时，帧被缩放到图像编码器所需的分辨率，而试验过的帧平均做法被判定为损害性能，未进入最终设计[8]。
视觉与语言两部分的参数配比也经过实测权衡：把较大的编码器配给最小的语言模型会导致性能明显下滑，只有在语言模型达到十亿级时，使用更大编码器的边际收益才抵得过参数增长[7]。
发展历程
2024 年 11 月，Hugging Face 发布首个 SmolVLM，以 SmolLM2-1.7B-Instruct 作为语言骨干，参数量约 20 亿，定位为可在设备端运行的开源多模态模型[6][9]。
此后不久，团队推出 2.56 亿与 5 亿参数版本，两者均搭配 9300 万参数的 SigLIP-B/16 编码器，分别对应 SmolLM2 的 1.35 亿与 3.6 亿语言模型，与语言模型家族形成一一对应的组合[2]。官方称 2.56 亿版本是当时参数最少的视觉语言模型，在若干基准上超过了 17 个月前自家 800 亿参数的 Idefics 模型[2]。
2025 年初，团队发布 SmolVLM2，把能力扩展到视频理解，同样提供 2.56 亿、5 亿与 22 亿三种规模，并在发布首日即支持 Transformers 与 MLX 框架，同时提供 Python 与 Swift 接口。2025 年 4 月，相关技术报告以预印本形式公开，系统整理了编码器与语言模型的容量分配、标记压缩与数据配比等设计结论[8]。
社区随后出现了多种二次分发与优化版本，包括 4 位量化版本、适配 OpenVINO 的 CPU 推理版本，以及在 llama.cpp 中增加支持的实现[10][11]。
应用
模型最常见的用途是图像描述与视觉问答：给定一张图片和一句提问，输出对画面内容的文字说明[1]。由于训练数据中文档理解占比约四分之一，它在扫描件、PDF 与图表识别类任务上相对见长[1]。
在嵌入式场景中，已有开发板把 2.56 亿参数的量化版本部署到摄像头设备上，用于本地识图，运行时约需 1GB 内存[3]。这类部署不依赖云端，适合对隐私或网络条件敏感的场合[10]。
视频方向上，团队展示了 3 类示例应用：完全本地运行的手机端视频分析、与 VLC 播放器合作实现的语义检索与片段跳转，以及针对长达 1 小时以上素材自动抽取关键时刻的摘要工具。此外还有第三方对其做过定性评测，在物体计数、文档 OCR 与真实场景文字识别等任务上通过，而在零样本目标检测与影视片段问答上未通过[9]。
局限
规模压缩带来的是能力上限。官方公布的对照表中，2.56 亿参数版本在 MMMU 上为 28.3%，5 亿版本为 33.7%，而 22 亿版本为 38.3%，均低于同表列出的 800 亿参数 Idefics 模型的 42.3%；在需要大学水平学科推理的任务上，小模型与大模型的差距尤为明显[2]。
文字识别与图表推理同样受分辨率与压缩比制约：把更大空间范围压进单个标记，会削弱精确定位能力，进而影响 OCR 一类任务[8]。模型只输出文本，不支持图像生成；语言支持也以英文为主[6][3]。
官方在模型说明中明确列出适用范围：不用于影响个人福祉的高风险场景与关键自动决策，不用于对个人进行评分、生成不可靠的事实内容，也不用于垃圾信息、虚假信息传播、骚扰或未经授权的监控[5]。说明同时提示，模型可能生成看似确凿却并不准确的内容[1]。
参见
参考资料
- README.md · HuggingFaceTB/SmolVLM-Instruct at refs/pr/30 [引用日期2026-10-29]
- SmolVLM Grows Smaller – Introducing the 256M & 500M Models! [引用日期2026-10-29]
- SmolVLM 视觉语言模型 [引用日期2026-10-29]
- 每周AI论文速递（250407-250411） [引用日期2026-10-29]
- yushan777/SmolVLM-Instruct · Hugging Face [引用日期2026-10-29]
- SmolVLM [引用日期2026-10-29]
- SmolVLM：资源受限环境下的高效多模态模型研究 [引用日期2026-10-29]
- SmolVLM: Redefining small and efficient multimodal models [引用日期2026-10-29]
- SmolVLM2: Multimodal and Vision Analysis [引用日期2026-10-29]
- smolvlm-int4-ov [引用日期2026-10-29]
- github.com 上的网页 [引用日期2026-10-29]