Fast-dLLM
定义
Fast-dLLM 是一套面向扩散式大语言模型（dLLM）的加速技术集合，官方代码库将其描述为覆盖文本、视觉语言与视觉语言动作三类模型的加速方法族[2]。其第一代版本是一组作用于推理阶段的插件，不需要修改模型权重，也不需要进行微调，直接在已有的开源扩散语言模型上生效[1]。
按照官方划分，该系列包含面向文本的 v1 与 v2、面向视觉语言模型的 Fast-dVLM，以及面向自动驾驶的 Fast-dDrive，各版本共用一个代码仓库[2]。v1 与 v2 两篇论文均被 ICLR 2026 接收，其中 v1 的论文题为《Fast-dLLM: Training-free Acceleration of Diffusion LLM by Enabling KV Cache and Parallel Decoding》，v2 的论文题为《Fast-dLLM v2: Efficient Block-Diffusion LLM》[2][3]。
原理
扩散语言模型采用掩码—去噪的生成方式：先把待生成位置填成 [MASK]，再通过多轮迭代逐步确定 token。与自回归模型不同，它的注意力是双向的，每一步都要对整段序列重新计算，因而不能像自回归模型那样直接沿用键值缓存（KV Cache）[4]。另一个障碍来自并行解码：在条件独立假设下，模型把联合分布近似为各位置边缘概率的乘积，一次解开多个存在依赖关系的 token 时容易产出局部合理、整体不通的搭配。
Fast-dLLM 的第一项技术是分块近似键值缓存。生成过程被切成若干定长块，按从左到右的顺序逐块求解；进入某一块之前先缓存该块之外所有 token 的键值，块内各去噪步只对当前块做前向计算，块解完后再统一刷新全序列缓存。这一做法成立的前提是观察发现相邻推理步之间键值激活的余弦相似度接近 1，因此复用的缓存虽然不精确但偏差很小[4]。作者进一步提出 DualCache，同时缓存前缀和被掩码的后缀，在长提示或长生成场景中收益更明显[4]。
第二项技术是置信度感知的并行解码。每一步为所有掩码位置计算置信度（例如最大 softmax 概率），只把超过阈值的 token 一次性解开，其余位置保持掩码留待后续步骤；若没有任何 token 达到阈值，则强制解开置信度最高的一个以保证生成继续推进[4]。作者给出一个定理说明：当并行解开的 $n$ 个 token 的置信度都高于 $1-\epsilon$ 且 $(n+1)\epsilon \le 1$ 时，按边缘概率乘积的贪婪并行解码与按真实联合分布的贪婪顺序解码结果一致[4]。
v2 版本改换了思路：不再只做推理期加速，而是在块扩散机制配合互补注意力掩码的训练配方下，把预训练自回归模型转换成扩散语言模型，块内双向、块间因果，并加入块级缓存与子块级 DualCache 的层级缓存机制[5][6]。
发展历程
2025 年 5 月，v1 版本的论文以预印本形式公开，作者包括 Chengyue Wu、Hao Zhang、Shuchen Xue、Zhijian Liu、Shizhe Diao、Ligeng Zhu、Ping Luo、Song Han、Enze Xie，署名单位涉及英伟达、香港大学与麻省理工学院[1][3]。同年 6 月 30 日，该方法被集成进 LLaDA-V，官方称其将推理延迟从 60 秒缩短到 6 秒[2]。
2025 年 7 月，官方仓库补充了基于 factor 的并行解码策略，并在 8 月上线在线演示[2]。2025 年 9 月 30 日，v2 论文提交至预印本平台，提出把自回归模型转为块扩散模型的路线；10 月 8 日，v2 的代码与模型开源[7][2]。
2026 年 1 月 26 日，v1 与 v2 同时被 ICLR 2026 接收[2]。此后该系列继续向多模态扩展：2026 年 4 月 10 日发布 Fast-dVLM，5 月 26 日发布面向自动驾驶的 Fast-dDrive[2]。
应用
在文本生成方面，v1 以 LLaDA 与 Dream 两类开源扩散语言模型为骨干，在 GSM8K、MATH、HumanEval、MBPP 四个基准上进行了评测[1]。单独启用键值缓存通常带来 2 至 3.6 倍加速，单独启用并行解码在部分设置下可达 4 至 6 倍，两者叠加后 LLaDA 在 GSM8K（长度 512）上的吞吐提升到 11 倍，在 MBPP（长度 512）上提升到 9.2 倍。在更长的生成长度上增益更大，官方报告的端到端吞吐提升最高为 27.6 倍，这一数字对应长序列、长提示的配置[1]。
v2 则以 Qwen2.5 为骨干，用约 10 亿 token 的微调数据把自回归模型改造成块扩散模型，官方称相比 Dream 一类全注意力扩散模型所需的约 5800 亿 token，训练数据量减少约 500 倍，并在标准自回归解码之上取得最高 2.5 倍加速[5]。在代码与视觉语言任务上，该系列还被用于加速 LLaDA-V 等模型，并衍生出面向视觉语言理解与自动驾驶的版本[2]。
局限
v1 的缓存机制建立在一个近似前提上：相邻推理步的键值激活高度相似，所以复用的缓存并不精确，属于折中方案[4]。缓存块大小是需要人工设定的超参数，官方实验显示较小的块能更好地保持精度但缓存刷新频繁、开销增加，较大的块则可能因上下文不匹配而降低准确率，块大小取 32 被认为是折中点。
置信度阈值同样是需要调节的参数。官方实验把阈值探索范围设在 0.5 至 1.0 之间，默认使用 0.9；阈值越保守，单步并行解开的 token 越少，加速幅度也随之下降[4]。加速效果还依赖提示长度与生成长度，短序列上收益相对有限。
从方法定位看，v1 只解决推理效率问题，不改变模型本身的生成能力与知识水平；v2 虽然通过微调把自回归模型转为扩散模型，但依赖额外训练流程与训练数据，并且需要与训练时一致的块大小，推理阶段若直接改动块大小会造成性能下降，需要通过子块解码来缓解[5]。此外，官方仓库中面向 vLLM 的支持仍处于待完成状态[2]。
参见
参考资料
- nvidia.com 上的网页 [引用日期2026-10-29]
- Fast-dLLM [引用日期2026-10-29]
- dblp.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- Fast-dLLM v2: Efficient Block-Diffusion Large Language Model [引用日期2026-10-29]
- ICLR Poster Fast-dLLM v2: Efficient Block-Diffusion LLM [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]