Diffusion-NAT

定义

Diffusion-NAT是一种用于文本到文本生成的非自回归模型框架，属于扩散模型在离散文本上的应用方案。它的核心做法是放弃连续扩散模型在词元序列上的直接建模，转而采用离散扩散模型，并把后者嵌入到已有的预训练语言模型之中^[1]。论文标题将其概括为“面向非自回归文本生成的自提示离散扩散”。

在方法定位上，Diffusion-NAT同时属于非自回归生成和扩散模型两条技术脉络：前者指一次性并行输出整段文本，后者指通过多轮去噪逐步逼近目标序列。该工作的目标是在两者之间建立可复用的结合方式，使离散扩散过程可以直接调用预训练模型的解码能力^[1]。

原理

连续扩散模型此前已被引入非自回归文本生成，但文本由离散符号构成，连续噪声过程难以直接对应词元，导致生成文本的连贯性与流畅性受限；同时连续扩散与预训练语言模型等成熟自然语言处理技术之间存在接口不兼容的问题^[1]。Diffusion-NAT以离散扩散模型替换连续扩散，使加噪与去噪都发生在离散词元空间，从而缓解上述矛盾^[2]。

框架将BART的解码流程与离散扩散的典型设置加以修改，使BART的推断过程与扩散去噪过程收敛为同一个任务，即对掩码词元的复原。这样，去噪不再由独立的扩散网络承担，而是交由BART执行，生成结果因此同时获得BART预训练所得的语言知识与扩散模型多轮迭代修正的特性^[1]。

在此基础上，方法引入迭代自提示策略：模型在若干轮中反复利用上一轮已复原的部分结果作为提示条件，再进行下一轮掩码词元的预测，以此提高最终文本的质量^[3]。可用简化形式表示其去噪目标：$p_\theta(x_0 \mid x_t, c)$，其中 $x_t$ 为第 $t$ 步的含噪词元序列，$c$ 为源文本条件，$\theta$ 为BART参数。

从流程上看，整个过程可概括为：源文本经编码得到条件表示，目标序列初始化为全掩码，随后在多个去噪步骤中由BART预测被掩码位置的词元，并把已确定位置作为下一轮提示，直至达到设定的步数。由于各位置在同一轮内同步预测，解码不需要逐词等待，这与自回归模型的串行生成方式形成对照^[1]。

发展历程

该工作由中国人民大学相关研究团队完成，作者为周昆、李逸凡、赵鑫与文继荣，论文在学术检索系统中最早可追溯到2023年的预印本记录^[3]。2024年3月，论文正式发表于在马耳他圣朱利安斯举行的第18届欧洲计算语言学协会分会会议长篇论文集中，位于第1438至1451页。

在会议评奖中，该论文获得“评测与模型洞见奖”（Evaluation and Model Insight Award）^[1]。研究团队同期公开了代码与数据，供后续研究复现与比较^[1]。

从技术脉络看，Diffusion-NAT出现在连续扩散被大量尝试用于文本生成的阶段之后，其贡献在于把研究重心从“如何让连续扩散适配文本”转向“如何让离散扩散复用预训练模型”，属于非自回归生成与扩散语言模型交叉方向的一项工作^[1]。

应用

论文在7个数据集上进行了实验，结果显示该方法优于同期具有竞争力的非自回归方法，并在部分设定下超过自回归方法的表现^[1]。这些任务覆盖典型的文本到文本生成场景，包括机器翻译与文本摘要等条件生成任务，其共同特点是输入与输出均为序列，适合以并行方式一次性产生目标文本^[2]。

在工程层面，该框架的价值在于把扩散式的多步去噪与非自回归的并行解码结合起来，使推理步数可控而无需逐词串行生成；由于去噪直接由BART承担，研究者可以在不改变预训练模型主体结构的前提下替换解码流程^[1]。

需要说明的是，公开资料对该方法的评测集中在上述学术数据集范围内，尚未见到关于其在产品化系统或大规模工业场景中部署情况的权威记录^[1]。

局限

该方法依赖BART作为去噪骨干，因此其能力边界与所选用预训练模型密切相关；论文的对比与结论均建立在特定的BART骨干与实验设置之上，换用其他骨干时能否保持同样优势，公开材料未给出结论^[1]。

迭代自提示策略需要多轮去噪，轮数与生成质量、推理开销之间存在权衡；相较单次前向的非自回归方法，其解码过程更长，而相较自回归模型，其并行优势又受步数设置影响。论文虽报告了质量上的改进，但对不同步数下的效率曲线并未在摘要层面给出统一结论^[1]。

此外，非自回归文本生成长期面临目标序列多模态性问题，即同一输入对应多种合理输出，容易造成重复或前后不一致的表达。Diffusion-NAT以离散扩散的迭代修正缓解这一问题，但公开摘要并未声明其已彻底消除该现象^[1]。

从研究范围看，论文的验证集中于文本到文本任务，未覆盖语音、图像等其他模态；与之名称相近的Diff-NAT属于目标检测对抗补丁方向，二者并非同一工作，需避免混淆^[4]。

参见

• 非自回归生成 —— Diffusion-NAT所属的生成范式，指并行一次输出整段目标序列。

• 扩散模型 —— Diffusion-NAT所依托的去噪生成框架。

• BART —— 被用作去噪骨干的预训练序列到序列模型。

• 掩码语言模型 —— 与框架中掩码词元复原任务直接相关的预训练方法。

• 自回归生成 —— 与非自回归相对的逐词串行生成方式，是论文的主要比较对象。