SmolDocling

定义

SmolDocling是一种以整页文档图像为输入、以结构化标记序列为输出的视觉语言模型，参数量为2.56亿，论文中将其定位为“超紧凑”（ultra-compact）的端到端文档转换模型。它的输出并非纯文本，而是DocTags——一种由IBM研究院设计的通用标记格式，用于完整记录页面各元素及其上下文与位置。

该模型由IBM研究院与Hugging Face合作发布，模型权重与配套数据集公开在Hugging Face平台上，采用Apache 2.0许可^[1]。在Docling工具库中，它以预设模型的形式提供，属于该库视觉语言模型转换管线的一个选项^[2]。

原理

SmolDocling沿用Idefics3式的三段结构：视觉编码器把页面图像编码为视觉特征，经像素重排连接器压缩为较少的视觉词元，再与文本指令的词元一起送入语言模型，由语言模型自回归地逐词元生成DocTags序列^[1]。其视觉部分基于SigLIP图像编码器，语言部分基于SmolLM2-135M，整体参数中约9300万属于视觉编码器^[1]。推理时通常给出一句简短指令，如“Convert this page to docling.”，模型据此完成整页转换^[3]。

DocTags以成对标签描述元素类型，例如正文、分级标题、表格、代码块与图表，并在标签中嵌入边界框坐标，从而保留元素在页面上的空间位置^[4]。表格使用专门的子标签体系表达列头、数据格与换行，图像和表格可附带标题标签，列表支持嵌套，代码与图像还可携带类别信息^[5]。与直接输出Markdown的做法相比，这种把内容与结构分开标注的方式减少了歧义，并降低了输出所需的词元数量。

生成的DocTags随后由docling_core库解析为DoclingDocument对象，再导出为Markdown、HTML等格式^[4]。模型可用Transformers、vLLM或ONNX等方式加载推理，社区也提供了GGUF量化版本以便在本地运行^[3][1]。在Apple芯片设备上，Docling还提供MLX版本，同一页面的推理耗时明显低于Transformers版本^[2]。

发展历程

相关论文于2025年3月14日提交至预印本平台arXiv，作者来自IBM研究院与Hugging Face，共13人，论文编号为2503.11576^[6]。论文随文公开了模型权重，并说明图表、表格、公式与代码识别所用的新数据集将随后公开。按IBM方面的表述，这款模型是IBM研究院与Hugging Face在2025年3月联合发布的实验性预览版本。

到2025年3月27日，SmolDocling成为Hugging Face平台上的热门模型之一^[7]。该工作后被IEEE/CVF国际计算机视觉会议（ICCV 2025）收录，页码为21972至21983^[8]。

2025年9月24日，IBM发布Granite-Docling-258M，将其定位为SmolDocling-256M-preview的面向产品的演进版本。新模型保留SmolDocling的整体方法，但把语言主干由SmolLM-2换为基于Granite 3的架构，视觉编码器由SigLIP换为SigLIP2。SmolDocling的模型卡此后注明后继模型为Granite-Docling，相关更新与支持转移至该模型^[9]。

应用

SmolDocling面向的典型对象是整页扫描件或电子文档图像，涵盖商业文书、学术论文、技术报告、专利与表单等类型，输出中包含表格、公式、图表、代码清单和列表等结构。由于输出保留了元素坐标与阅读顺序，其结果可直接用于后续的版面还原与内容抽取，IBM方面也指出此类结构化输出适合作为检索增强生成等下游流程的输入。

在Docling工具库中，SmolDocling是视觉语言模型管线的可选模型之一，用户通过命令行指定该模型即可对PDF等文档执行端到端转换，无需另行搭建文本检测与逐块识别的流水线^[2]。此外，研究者也在其基础上做任务微调，例如扩展DocTags标签以支持表单中键值对的定位与关联，从而在一次前向中完成识别、定位与配对^[10]。

由于模型体积小、可在CPU、GPU及Apple芯片上运行，它也被用于离线或算力受限场景的文档批处理^[2]。论文报告称，其性能可与体积大至27倍的视觉语言模型相比，同时显著降低算力需求。

局限

SmolDocling的训练语料为英文，IBM方面说明它对使用标准拉丁字母书写的语言尚可处理，但对不使用拉丁字母的文字覆盖不足，这限制了它在许多地区的适用性。论文的评测同样以英文数据集为主，未报告中文等语言上的结果^[4]。

作为预览版本，该模型存在稳定性方面的已知不足，例如在页面某处可能陷入重复输出同一词元的循环。结构识别精度也与专用模型存在差距：在表格结构指标上，论文报告的结果低于参数更少的TableFormer，布局分析等任务的得分同样不高^[4]。

此外，模型输出依赖DocTags这一特定格式，标签名并非常见的标题、段落等名称，需借助解析库才能转换为通用文档格式，使用上存在一定门槛^[4]。随着Granite-Docling-258M 的发布，SmolDocling被定位为实验性前代模型，后续更新与支持由其继任者承接。

参见

• DocTags —— SmolDocling 输出的结构化文档标记格式。

• Granite-Docling-258M —— 由同一团队发布、承接 SmolDocling 的后续模型。

• Docling —— 提供模型、命令行工具与转换管线的开源文档转换库。

• 视觉语言模型 —— SmolDocling 所属的模型类别。

• 光学字符识别 —— 文档转换任务的传统技术路线。