LLaDA

定义

LLaDA 是一种以扩散模型为概率建模范式的大规模语言模型，其中“扩散”指的是对文本施加随机掩码的加噪过程，以及从全掩码状态逐步还原文本的去噪过程^[2]。它由中国人民大学高瓴人工智能学院与蚂蚁集团的研究者联合提出，核心成员包括文继荣、李崇轩等，名称中的四个字母分别来自 Large Language Diffusion with mAsking 的缩写^[3]。

与其名称中的“大规模”相对应，公开的 LLaDA 8B 版本拥有约 80 亿参数，是在 2.3 万亿词元上从零开始预训练的语言扩散模型，并配有基础版与指令微调版两种权重^[4]。该模型的意义在于，它把此前多停留在较小规模的离散扩散语言建模推进到与传统大语言模型可比的参数与计算规模，从而对自回归架构是否为语言智能的必要条件这一问题给出了实证回应^[1]。

原理

LLaDA 建立在掩码扩散模型(Masked Diffusion Model，MDM)之上。前向过程会对长度为 $L$ 的序列 $x_0$ 中每个词元独立地以概率 $t$ 替换为掩码符，其中 $t$ 从 0 到 1 之间均匀采样，当 $t=1$ 时整条序列被完全遮蔽；反向过程则从全掩码序列 $x_1$ 出发，由 Transformer 逐步预测被遮蔽的词元，直至恢复到 $t=0$ 的完整文本^[2]。

训练目标只在被掩码的位置上计算损失，并带有 $1/t$ 权重：$L(\theta) = -\mathbb{E}_{t,x_0,x_t}\left[\frac{1}{t}\sum_{i=1}^{L}\mathbf{1}[x_t^i = M]\log p_\theta(x_0^i \mid x_t)\right]$。该目标被证明是数据负对数似然的上界，因此最小化它相当于优化似然的变分下界，这也是 LLaDA 能够作为生成模型进行概率推断、并具备上下文学习能力的理论依据^[2]。

在架构上，LLaDA 沿用与 GPT 系列相同的解码器 Transformer，但不施加因果掩码，使每个位置都能同时获取整个序列的信息，从而形成双向依赖建模^[5]。由于无法直接使用 KV 缓存等自回归专用加速手段，模型采用普通多头注意力并相应调整前馈层宽度以保持参数规模可比^[6]。监督微调阶段只对回复部分施加掩码，提示词部分保持不变，损失形式与预训练阶段一致^[2]。

flowchart LR

A[原始文本 x0] -->|前向随机掩码 t~U[0,1]| B[部分掩码序列 xt]

B -->|Transformer 预测被掩码词元| C[损失仅计掩码位 加权 1/t]

D[全掩码 x1] -->|反向去噪 迭代还原| E[完整文本 x0]

发展历程

LLaDA 的技术积累可以追溯到李崇轩课题组此前关于离散扩散模型的基础工作 RADD 与 SMDM，这两项研究均被 ICLR 2025 接收，为后续的大规模训练提供了理论与方法铺垫。2025 年 2 月 14 日，论文《Large Language Diffusion Models》以预印本形式发布在 arXiv，同期开源了 LLaDA-8B-Base 与 LLaDA-8B-Instruct 两组模型权重^[6]。

该论文随后入选 2025 年神经信息处理系统年会(NeurIPS)的口头报告，其预印版本还在国际表示学习大会(ICLR)的生成模型研讨会上获得唯一的长文最佳论文奖；据国家自然科学基金委员会介绍，模型在 Hugging Face 平台开源后总下载量超过 350 万次^[1]。

在此基础上，研究团队沿两条路线继续推进。一条是能力对齐：2025 年提出方差缩减偏好优化方法 VRPO，并据此发布价值对齐版本 LLaDA 1.5，在数学、代码和指令遵循任务上取得一致性提升^[7]。另一条是架构效率：2025 年 9 月 12 日，团队与外滩大会同期发布 LLaDA-MoE，把掩码扩散机制与动态稀疏激活结合，仅激活 1.4B 参数即可对标 3B 级稠密自回归模型^[3]。

据蚂蚁技术研究院发布的信息，2025 年 12 月推出的 LLaDA2.0 系列包含 MoE 架构的 16B 与 100B 两个版本，通过 Warmup-Stable-Decay 持续预训练策略把已有自回归模型转换为扩散语言模型，使扩散语言模型的参数规模首次达到 100B 量级，并称相比同级别自回归模型实现约 2.1 倍推理加速^[8]。该系列的技术报告进一步说明，训练流程依次为自回归到掩码扩散的持续预训练、块级扩散预训练，以及包含 SFT 与 DPO 的后训练^[9]。

应用

LLaDA 的基础版主要用于语言理解、数学推理、代码生成和中文任务等通用场景，指令版则面向多轮对话与指令遵循类应用^[5]。由于双向建模的特点，它在需要由下文反推上文的逆向任务中表现较为均衡，在古诗倒序补全这类任务上的成绩超过同期部分闭源模型^[1]。

扩散语言模型的并行解码特性也被用于降低推理时延。按照 LLaDA2.0 发布方的说法，其 100B 版本在并行解码下可达到每秒 535 词元的生成速度，在代码等结构化生成任务上具有优势^[8]。此外，LLaDA 作为开源主干模型被后续研究广泛引用和作为基准，英伟达、普林斯顿大学、苹果公司、加州大学洛杉矶分校、字节跳动等机构均发布过基于或对照它的后续工作^[3]。

局限

采样效率是 LLaDA 早期版本最直接的短板。官方说明列出了三点原因：采样时需要固定上下文长度、暂时无法利用 KV 缓存，以及仅在采样步数较多时才能取得理想效果，因此其生成速度慢于自回归基线^[10]。

在实验设计上，受算力限制，LLaDA 与自回归基线的同数据对比只在低于 $10^{23}$ FLOPs 的计算预算内完成，自回归基线也未能扩展到同等规模；模型没有专门设计注意力机制或位置编码，也未引入系统级架构优化^[2]。推理侧对引导机制的探索仍属初步，模型对推理超参数较为敏感，且在原始版本中尚未进行基于强化学习的对齐^[2]。

从能力边界看，论文指出 LLaDA 当时对多模态数据的处理尚未探索，规模也仍小于同期领先的商用大模型；它与提示微调方法、智能体系统的结合方式同样有待研究^[2]。与所有大规模语言模型类似，扩散模型也面临训练能耗、被用于生成有害或误导性内容、放大训练数据偏见等社会性关切^[2]。

参见

• 自回归模型 —— 以逐词元预测下一个词元为核心的语言建模范式，是 LLaDA 所替代的对象。

• Transformer —— LLaDA 用作掩码预测器的神经网络架构。

• 扩散模型 —— LLaDA 所属的生成模型大类，通过加噪与去噪过程建模数据分布。

• 掩码语言模型 —— 通过还原被遮蔽词元进行训练的语言模型，与 LLaDA 的预训练目标有渊源关系。

• 中国人民大学 —— LLaDA 主要研发团队所在机构。

• 蚂蚁集团 —— 与中国人民大学团队合作开发 LLaDA 系列模型的企业。