LayoutLM
定义
LayoutLM 是一种面向文档图像理解的预训练语言模型，其基本做法是在 BERT 式的文本表示之上，为每个词元附加它在页面中的边界框坐标，使模型在预测时能够同时利用语义上下文与版面位置[4]。按论文的表述，它是第一次在同一个框架内对文档级预训练中的文本与版面进行联合学习的模型。
这类模型所针对的任务统称视觉丰富文档理解，指发票、合同、报表等既有文字又有版式结构的文档的自动解析[3]。狭义的 LayoutLM 通常指 2020 年发表的初代版本，为了与后续版本区分，也常被称作 LayoutLM v1[2]。
原理
模型以扫描文档或电子文档为输入，先用光学字符识别或文档解析工具取得文字内容及其外接矩形框坐标[5]。文本经分词后形成词元序列，每个词元的输入表示由词嵌入、一维位置嵌入和二维版面嵌入相加构成，其中二维嵌入由左上角与右下角坐标经线性变换得到，坐标通常先按页宽页高等比归一化到 0 至 1000 的整数区间，以消除扫描分辨率差异[2][4]。
预训练阶段主要采用掩码视觉语言模型任务：随机遮盖部分词元，但保留其版面坐标，要求模型结合可见文本的语义和版面线索还原被遮盖内容[5]。可选的辅助任务是文档多标签分类，让模型学习文档级表示[5]。在微调阶段，模型还会引入由卷积神经网络提取的区域视觉特征，与文本表示融合后接下游任务的头[6][5]。
初代模型提供两种规格：Base 版本为 12 层、隐藏维度 768、12 个注意力头、约 1.13 亿参数；Large 版本为 24 层、隐藏维度 1024、16 个注意力头、约 3.43 亿参数，均在含 1100 万份文档的 IIT-CDIP 数据集上训练 2 个轮次。
发展历程
初代 LayoutLM 的论文发表于 2020 年的知识发现与数据挖掘会议(KDD 2020)，作者为徐一恒、李明浩、崔磊、黄绍晗、韦福如和周明。论文报告该模型在表单理解、收据理解和文档图像分类三个任务上均刷新了当时的最好成绩，其中表单理解指标由 70.72 提升到 79.27[4]。
2020 年至 2021 年间，LayoutLMv2 把文本、版面和图像放进同一个多模态框架，采用空间感知的自注意力，并新增文本图像对齐与文本图像匹配两个预训练目标，在 FUNSD、CORD、DocVQA 等基准上超过了初代模型[2][3]。同一时期，LayoutXLM 作为 LayoutLMv2 的多语言扩展被提出，并配套发布了覆盖中文、日文、西班牙文、法文、意大利文、德文、葡萄牙文 7 种语言的多语言表单理解基准 XFUND[7][3]。
2022 年 10 月，LayoutLMv3 在 ACM 国际多媒体会议上发表，作者为黄宇攀、吕腾超、崔磊、卢宇彤和韦福如[8]。该版本用图像块嵌入取代卷积主干网络，成为文档人工智能领域首个不依赖预训练卷积神经网络提取视觉特征的多模态模型，同时以统一的掩码文本、掩码图像和词块对齐三个目标进行训练[9]。
应用
该系列模型最初在三个下游任务上验证：表单理解使用 FUNSD 数据集，收据理解使用 SROIE 数据集，文档图像分类使用含 40 万张图像、16 个类别的 RVL-CDIP 数据集[10]。实践中这些任务对应发票字段抽取、票据信息录入、表格内容问答等场景，模型输出通常按序列标注方式给出每个文本块的类别标签[6]。
在工程落地方面，LayoutLM 及其各版本已集成进 Hugging Face 的 Transformers 库，社区也发布了基于该模型微调的文档问答检查点，可将问题与文档图像一并输入并给出答案片段[11][12]。其原始代码以开源形式发布在微软的通用语言模型代码库中[13]。
局限
该系列依赖上游光学字符识别提供文本与坐标，识别环节的错误会在后续处理中累积，在噪声较大或手写文档上尤为明显；抽取出的文本顺序也需要额外的版面重排处理[14]。此外，模型对字符密集或版式复杂的文档，几何结构信息的利用仍不充分，长距离依赖的建模能力有限，可能给出相互矛盾的预测[15]。
输入长度是另一项约束。初代模型按 512 个词元的窗口处理文档，超出部分需切分成多个样本分别推理，长文档因此容易出现部分区域得不到分类结果的情况[13]。自注意力计算量随序列长度呈平方增长，加入图像模态后序列进一步变长，使多页文档与长表格的处理受到算力和显存限制[16][17]。
在语言与领域覆盖上，预训练数据以英文文档为主，中文、日文等排版复杂的语种需要额外的数据与训练才能适配，高质量多语言标注的缺乏也制约了跨语言预训练的效果[3][18]
参见
-
BERT —— LayoutLM 的编码结构与分词方案直接沿用自这一预训练语言模型
-
光学字符识别 —— 为模型提供文字内容与边界框坐标的上游环节
-
Transformer —— LayoutLM 系列所采用的基础网络架构
-
视觉丰富文档理解 —— LayoutLM 所服务的任务范畴
-
多模态学习 —— 文本、版面与图像信息联合建模所属的研究方向
参考资料
- 【微软研究院AI头条】文档智能：通用文档预训练模型与数据集，推动NLP落地升级 [引用日期2026-10-29]
- tencent.com.cn 上的网页 [引用日期2026-10-29]
- 视觉丰富的文档理解 [引用日期2026-10-29]
- LayoutLM [引用日期2026-10-29]
- 再谈大模型行业问答落地中的文档智能技术：现有多模态预训练模型及相关数据集汇总 [引用日期2026-10-29]
- zwxxxb_3641(PDF) [引用日期2026-10-29]
- layoutxlm-base（Microsoft/layoutxlm-base） [引用日期2026-10-29]
- citations [引用日期2026-10-29]
- acm.org 上的文件 [引用日期2026-10-29]
- Transformers 4.37 中文文档（八十八） [引用日期2026-10-29]
- pypi.org 上的网页 [引用日期2026-10-29]
- layoutlm-document-qa [引用日期2026-10-29]
- github.com 上的网页 [引用日期2026-10-29]
- obspm.fr 上的网页 [引用日期2026-10-29]
- authors [引用日期2026-10-29]
- these(PDF) [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- s10462-025-11477-3 [引用日期2026-10-29]