DPLM

定义

DPLM是一类蛋白质语言模型,其核心在于以离散扩散(discrete diffusion)作为预训练目标,而非传统的掩码预测或自回归建模^[1]。研究者在进化尺度的蛋白质序列上进行生成式自监督预训练,使同一模型同时具备生成新序列与理解序列的能力^[1]。命名中的字母分别对应扩散(diffusion)、蛋白质(protein)与语言模型(language model)三项要素^[4]。

与之相关的后续工作DPLM-2沿用同一离散扩散框架,并把建模对象从单一序列扩展到序列与三维结构两种模态^[3]。

原理

离散扩散直接在离散状态空间上定义前向与反向两个马尔可夫过程。前向过程用转移核把真实序列逐步扰动为固定噪声分布,反向过程则由神经网络参数化的模型逐级去噪,还原出数据分布^[5]。学习目标经重参数化后可简化为带噪水平加权的交叉熵,形式上接近任意噪声下的掩码语言建模^[5]。

在吸收式离散扩散中,噪声状态对应一个吸收标记,因此反向过程可以视为迭代的掩码预测:模型每轮预测被遮蔽位置的氨基酸,并保留置信度较高的结果,经多轮迭代得到完整序列;默认的官方采样计划为500步^[6]。这种非自回归、具备双向感受野的去噪方式,使模型不必受单向上下文限制^[1]。

DPLM按参数量提供150M、650M与3B等规格,预训练数据为包含约4200万条蛋白质序列的UniRef50数据集,训练批次约100万标记、共10万步^[4]。模型主体由Transformer结构参数化^[5]。

发展历程

2024年2月28日,相关论文以《扩散语言模型是多才多艺的蛋白质学习者》为题公开,提出DPLM并在进化尺度序列上完成可扩展的预训练^[1]。该工作随后发表于2024年的第41届国际机器学习会议(ICML),作者包括王辛有、郑在翔、叶菲、薛东雨、黄书剑与顾全全^[2]。2024年3月,研究团队公开发布DPLM的模型与代码^[4]。

2024年10月,团队发布DPLM-2,把离散扩散框架扩展到结构与序列的联合建模,该工作于2025年发表于国际学习表征会议(ICLR)^[3]。2025年4月,后续工作DPLM-2.1被ICML 2025接收,重点分析多模态蛋白质语言模型的设计空间,并给出比特级结构建模的改进实现^[4]。

该系列研究由南京大学自然语言处理研究组与字节跳动的ByteDance Research合作推进^[7]。2026年,团队又提出在去噪中显式预测替换与插入删除操作的DPLM-Evo框架^[8]。

应用

在无条件生成场景下,DPLM可直接采样出结构上合理、新颖且多样的蛋白质序列,不同规模的模型在长度100至1000的测试中平均pLDDT得分多在70至90之间^[4]。经过微调后,模型可作为蛋白质序列的表示学习器用于多种预测任务,在部分任务上优于ESM2等基线^[1]。

条件生成方面,DPLM支持以部分肽段为条件为功能基序生成支架序列,支持以结构为条件进行逆折叠设计,还可借助即插即用的分类器引导,使生成结果满足指定的二级结构^[9]。在逆折叠评测中,DPLM-650M的氨基酸回收率为56.61、scTM为0.86、pLDDT为76.78^[10]。

扩展到多模态后,DPLM-2能够在给定序列时以零样本方式预测结构,并同时生成相互匹配的氨基酸序列与三维结构,省去两阶段流程^[3]。结构感知的表示也为热稳定性、亚细胞定位等下游预测任务带来额外增益^[4]。

局限

基于掩码式离散扩散的建模方式与生物演化的实际形态存在差异:蛋白质通过累积的替换、插入与删除逐步演化,而非由遮蔽状态中涌现,因此原框架缺少针对插入删除操作的显式预训练目标^[8]。这限制了灵活的长度变化生成与基于编辑轨迹的优化式后编辑^[8]。

多模态版本在部分预测任务上出现性能下降。由于结构数据规模小于序列数据库,继续训练可能带来过拟合,使大规模序列预训练获得的表示有所退化^[4]。此外,把三维坐标离散化为结构标记会引入信息损失,离散标记也难以充分体现局部结构特征之间的内在关联,2025年的设计空间分析即针对这些问题提出改进^[7]。

在结构预测这一专门任务上,早期DPLM-2与专用折叠模型仍有差距,其在CAMEO 2022测试集上的表现弱于ESMFold^[4]。

参见

• 蛋白质语言模型 —— DPLM所属的模型类别,以序列数据学习蛋白质的表示与生成。

• 扩散模型 —— DPLM所采用的生成建模范式来源,离散扩散是其变体。

• ESM2 —— 同类蛋白质语言模型,常作为DPLM的对照基线。

• 逆折叠 —— 由结构反推序列的设计任务,是DPLM的条件生成应用之一。

• AlphaFold —— 蛋白质结构预测的代表性工作,与DPLM所涉结构建模方向相关。