PubMedBERT
定义
PubMedBERT是一种面向生物医学文本的预训练语言模型，其结构沿用BERT的双向编码器，但词表与权重全部由生物医学文献训练得到[2]。它属于预训练加微调的两阶段范式：先在大量无标注文献上学习语言表示，再针对具体任务用少量标注数据微调[4]。模型最初以PubMedBERT为名发布，后更名为BiomedBERT，并保留PubMedBERT作为旧称[5]。
按语料规模区分，该系列有仅用摘要的版本和使用摘要加全文的版本，其中全文版使用的语料规模约为21GB的PubMed Central文本，因此可得到更多细节内容，对基因、疾病、药物等专业词汇的表示更为细致[1]。
原理
模型采用掩码语言建模(masked language modeling)作为预训练目标：随机遮盖输入序列中的部分标记，让模型根据上下文预测被遮盖的内容，从而在无需人工标注的情况下学习词汇与句法关系[1]。编码器内部使用自注意力机制，把每个标记表示为上下文化的向量；设输入序列的隐藏状态为 $H \in \mathbb{R}^{n \times d}$，自注意力按 $\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$ 计算，其中 $Q$、$K$、$V$ 均由 $H$ 线性变换得到[2]。
与BioBERT等模型相比，PubMedBERT的关键设计在于从头训练并使用生物医学词表。研究显示，使用PubMed语料训练的词表可以降低对下游任务的分词数量，配合整词遮盖等改进，使模型在大多数评测任务上优于沿用通用词表或混合语料的做法[2]。
预训练完成后，模型通过在下游数据上微调适配任务：分类任务在句向量上接分类层，序列标注任务在每个标记向量上接标注层，问答任务则将问题与上下文拼接后预测答案跨度[2]。
发展历程
2020 年，微软研究院的研究者顾禹(Yu Gu)、Robert Tinn、Hao Cheng、Michael Lucas、Naoto Usuyama、Xiaodong Liu、Tristan Naumann、Jianfeng Gao 与 Hoifung Poon 在论文预印本中提出PubMedBERT，同时公开了BLURB基准与排行榜，并发布了预训练模型和针对具体任务的模型[3]。该论文后发表于ACM Transactions on Computing for Healthcare[6]。
研究团队随后在2021 年发表后续工作，讨论大规模语言模型在生物医学任务上的微调方法，并给出更大规模版本的结果[7]。2022 年前后，微软将模型更名为BiomedBERT，旧名PubMedBERT仍被广泛引用；在Hugging Face等模型社区中，模型卡同时标注新旧名称，并提示用户可升级transformers库以继续使用旧路径[8]。
应用
PubMedBERT主要用于生物医学文献的自动处理，覆盖命名实体识别、关系抽取、句子相似度与问答等任务[2]。在药物—药物相互作用、化学物质—疾病关系等抽取任务中，它常被作为基线或对照模型使用[2]。
电子健康记录文本分类研究将该模型与通用BERT并列使用，认为它适合处理病历叙述中的专业术语[1]。也有研究以其为基础做领域适配，例如在临床试验语料上二次预训练得到CTPubMedBERT，用于把疫苗名称映射到疫苗本体，其Top-1准确率较以PubMedBERT为底座的基线提升约16.3%[9]。此外，中文药草—疾病关系语料的研究表明，其模型在命名实体识别和关系抽取上的F1分数高于通用BERT，这一差距体现出领域内预训练的作用[10]。
在性能对比研究中，PubMedBERT在多组任务上取得较高分数，例如在部分医疗实体抽取实验中F1达到88.8%[11]。在生物医学实体链接任务中，有研究报告其表现仅次于规模更大的GatorTron[12]。
局限
PubMedBERT的训练语料以英文文献为主，主要覆盖PubMed与PubMed Central收录的论文，对电子病历、非英语文献和其他语言的医学文本适应性有限；把临床笔记加入预训练并不一定带来提升，研究观察到ClinicalBERT与BlueBERT等混合临床文本的模型在BLURB任务上表现反而较弱[2]。
该模型是编码器式结构，只擅长理解与抽取，不能直接生成流畅的长文本，也不具备大语言模型的通用对话能力。在PubMedQA等规模较小的问答数据上，它与BioBERT相比未显示稳定优势，不同随机种子下的结果波动较大[2]。
模型本身的规模有限，base版本参数量远小于其后出现的GatorTron等模型，因此在需要更强推理或更大上下文的任务上并非首选[12]。同时，模型性能高度依赖微调数据的质量与标注一致性，关系抽取等复杂任务中仍存在边界识别与关系类型混淆等错误[10]。
参见
参考资料
- acm.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- BLURB Leaderboard [引用日期2026-10-29]
- : ThesoTM: PubMedBERT [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- language: [引用日期2026-10-29]
- microsoft-biomednlp-pubmedbert-large-uncased-abstract [引用日期2026-10-29]
- BiomedNLP-PubMedBERT-base-uncased-abstract-fulltext [引用日期2026-10-29]
- nih.gov 上的网页 [引用日期2026-10-29]
- s13326-026-00355-8 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]