ALBERT
定义
ALBERT是一种以Transformer编码器为主干的预训练语言模型，其名称来自英文全称「A Lite BERT」，即精简版BERT。与BERT相同，它先在大量无标注文本上用自监督目标训练，得到可迁移的语言表征，再针对具体下游任务进行微调[2]。两者的差别在于参数的使用效率：ALBERT通过两项参数缩减手段，使参数量明显低于同等深度的BERT，并在GLUE、RACE、SQuAD等基准上取得当时的最好成绩[2]。
它的层数、隐藏层维度与注意力头数可自由组合，官方给出了base、large、xlarge、xxlarge四种规格，参数量分别为1200万、1800万、6000万与2.35亿左右[3]。
原理
ALBERT的主干与BERT一致，仍然由多层Transformer编码器堆叠而成，使用GELU激活函数。第一项改动是嵌入参数的因式分解：模型不再把one-hot向量直接映射到维度为$H$的隐藏空间，而是先映射到维度为$E$的低维嵌入空间，再投影到$H$[3]。这样嵌入层的参数量由$O(V \times H)$降为$O(V \times E + E \times H)$，其中$V$为词表规模，在$H$远大于$E$时节省显著[3]。官方配置中$E$取128，而隐藏层维度可以远高于此[3]。
第二项改动是跨层参数共享，即不同编码层复用同一组注意力与前馈网络权重，各层不再是彼此独立的参数集合。论文指出，这类网络在不同层上常学到相似的操作，参数共享可以消除这种冗余；注意力—前馈模块的参数因此减少约90%，整体参数减少约70%。共享方式可以选择只共享注意力参数、只共享前馈参数或全部共享，ALBERT默认全部共享[3]。
预训练目标方面，ALBERT保留了掩码语言建模，同时把BERT的下一句预测替换为句子顺序预测（SOP）：输入同一文档中两个相邻句子，模型要判断它们是否保持原有顺序，负例由交换这两句位置构造[4]。这样正负例来自同一文档、主题相同，任务更依赖句间连贯性而非主题判断。预训练数据为英文维基百科与图书语料，词表规模约3万，训练使用批次大小4096与LAMB优化器[3]。
发展历程
相关论文于2019年9月26日提交至预印本平台，作者为Zhenzhong Lan、Mingda Chen、Sebastian Goodman、Kevin Gimpel、Piyush Sharma与Radu Soricut，研究由谷歌研究院与芝加哥丰田技术计算中心合作完成[2][1]。该论文随后被ICLR 2020接收。
代码与预训练模型以开源形式发布于TensorFlow之上，首个版本在2019年10月9日发布[5]。2019年12月30日，官方发布第2版模型，同时放出中文版模型，训练数据由CLUE团队提供[6]。第2版对全部规格采用无dropout、增加训练数据和延长训练时间的策略，base训练1000万步，其余模型训练300万步[5]。
应用
作为一种通用文本编码器，ALBERT可用于文本分类、句子对匹配、命名实体识别与抽取式问答等任务，做法是在预训练权重之上接一个任务特定的输出层再微调[2]。论文报告的最优规格在斯坦福问答数据集SQuAD、阅读理解基准RACE与GLUE上均取得当时的最佳结果。
由于参数占用较小，ALBERT在存储和分发受限的场合具有一定实用价值，例如需要把模型文件随应用一起打包、不便依赖外部服务的场景。此外，嵌入因式分解与跨层参数共享的思路也被后续的高效模型设计参考[7]。
局限
ALBERT压缩的是参数量，而不是计算量。共享参数并未减少前向传播所需的层数与矩阵运算，因此推理速度相比同等结构的BERT没有提升，甚至因嵌入层多了一次投影而略慢。官方数据也显示，ALBERT-large的训练吞吐约为BERT-large的1.7倍，但隐藏层维度更大的xxlarge在数据迭代上比BERT-large慢约3倍[3]。
参数缩减在效果上有代价。官方博客给出的对照实验中，仅做嵌入因式分解时SQuAD 2.0得分由80.4降至80.3、RACE由68.2降至67.9；再叠加参数共享后，RACE得分进一步下降3.9至64.0。因此要在基准上超过BERT-large，需要把隐藏层维度扩大到4096，代价是更大的计算开销[3]。
此外，SOP的设计针对的是句间连贯性，模型能力主要体现在句子级与篇章级的判断，并不具备生成式语言模型的文本生成能力[4]。不同版本的模型在超参数敏感的基准上表现会浮动，官方也提示下游任务对微调超参数较为敏感，小幅提升需谨慎看待[5]。
参见
参考资料
- 谷歌研究院 & 芝加哥丰田技术研究所 | ALBERT:用于语言表征学习一个自监督的轻量型BERT [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- Introduction [引用日期2026-10-29]
- master [引用日期2026-10-29]
- ALBERT [引用日期2026-10-29]
- sources/albert.md · tbukuai/hf-papers-wiki at main [引用日期2026-10-29]