DiffusionVL

定义

DiffusionVL是一类扩散视觉语言模型(diffusion vision language model,简称dVLM)的统称。它要解决的是扩散式多模态模型长期落后于自回归同类模型的问题:此前的扩散视觉语言模型大多以扩散语言模型为基础搭建,而基础扩散语言模型在能力与成熟度上不及主流自回归语言模型,因而限制了上层多模态模型的上限^[5]。DiffusionVL 的出发点是不再依赖扩散语言模型,而是直接把已有的自回归模型转换成扩散范式^[2]。

所谓转换,指保持骨干网络结构不变,只替换训练目标与解码过程;由于扩散视觉语言模型与自回归视觉语言模型在结构上基本一致,差别主要落在注意力模式以及训练、推理行为上,因此这种替换在原理上是可行的^[5]。作者把这种方法称为扩散微调,并据此构建了一个可以从不同规模、不同模态的自回归模型转换而来的模型家族^[3]。

原理

扩散微调的做法是把原先逐词预测下一个 token 的训练目标,换成以块为单位的部分掩码去噪目标:模型看到被随机掩盖的块,要在给定前序干净块的条件下还原被掩盖位置的真实 token^[6]。为此训练时需要同时拼接含噪序列与原始干净序列,并配一份专用注意力掩码,使块内部是双向注意力、块之间是因果注意力,既保证块内可以并行去噪,又保持跨块的语义依赖^[7]。

针对不同起点的模型,转换流程分为两条路径。若起点是已经完成视觉与语言对齐的自回归视觉语言模型,则不需要额外的对齐预训练,直接对全部参数做端到端扩散微调,这一过程被称为范式迁移^[3]。若起点是纯文本的自回归语言模型,则沿用类似 LLaVA 的两阶段方案:第一阶段只训练连接器,用自回归目标稳定地把视觉嵌入与文本嵌入空间对齐;第二阶段再用扩散微调联合训练全部组件,同时完成模态迁移与范式迁移^[3]。图像先由视觉编码器转成嵌入,再与文本嵌入拼接后按块切分,噪声以块为单位加入^[7]。

推理阶段采用块扩散解码:块内并行去噪,块间按自回归方式顺序扩展,前序块的上下文缓存可以复用,从而支持任意长度的输出^[3]。去噪时可选静态策略,即每步固定解码一定数量的 token;也可选动态策略,即解码置信度高于阈值的 token,二者在速度与质量之间形成不同的取舍^[7]。解码速度取决于并行因子,即块大小与去噪步数之比,该比值大于 1 时每步可生成多个 token^[8]。

发展历程

2025 年 12 月 17 日,论文《DiffusionVL: Translating Any Autoregressive Models into Diffusion Vision Language Models》以预印本形式公开,作者为曾伦斌、姚景峰、廖本成、陶宏远、刘文予、王兴刚,均隶属华中科技大学^[4]。次日,基于 Qwen2.5-VL 转换而来的模型权重在 Hugging Face 上发布^[1]。

2025 年 12 月 25 日,项目宣布完成原定发布计划,论文、两类模型权重(分别来自自回归视觉语言模型与自回归语言模型)、评测代码与训练代码全部开放。2026 年 7 月 8 日,该工作被 ECCV 2026 接收^[1]。

与此同期,另有 A2D-VL 把已有的自回归视觉语言模型微调为块扩散视觉语言模型;DiffusionVL 的差别在于更系统地验证了从纯自回归语言模型出发的路径,并在未使用退火策略的情况下取得更优结果^[3]。

应用

DiffusionVL 面向的是图文理解类任务。公开的模型包括以 Qwen2.5-VL 的 3B 与 7B 版本为基础转换得到的两档权重,以及从纯文本的 Qwen2.5-7B 转换得到的版本。评测覆盖了 MMBench、MMMU、MMMU-Pro、MME、ChartQA、AI2D、MathVista、MathVerse、MathVision 等基准,涉及通用视觉问答、图表与示意图理解、学科推理与数学推理^[8]。

在训练数据上,7B 版本在 LLaVA-Next 数据集上使用约 738000 条指令跟随样本完成微调,而作为对比的 LLaDA-V 需要接近 20 倍的训练数据^[8]。在详细图像描述任务 DetailCaps 上,7B 版本的吞吐为每秒 46.37 个 token,同配置的自回归微调模型为每秒 34.17 个 token^[6]。在数学推理上,作者还用 100000 条思维链样本继续微调得到 DiffusionVL-CoT,其在 MathVista 上比 LLaDA-V-8B 高 8.60 分,同时保持约 1.7 倍速度^[6]。

从用途上看,这一路线提供的是低成本构建扩散视觉语言模型的方式:不必从零训练扩散语言模型,而是复用成熟自回归模型的预训练成果;并行解码与缓存复用则主要指向对时延敏感的多模态对话、视频字幕等场景^[7]。

性能上,7B 版本在 MMBench 英文开发集得到 83.5 分,与作为起点的 Qwen2.5-VL-7B 相同;在 MMMU-Pro 视觉子集上为 25.0 分,MME 认知子集为 675 分,相对 LLaDA-V 的 18.6 与 491 分别提升约 34.4% 与 37.5%,但 MMMU 验证集与 MMMU-Pro 视觉子集仍低于原始的自回归底座^[6]。

局限

数据效率的表述需要限定。所谓不足 5% 指的是 738000 条微调样本与 LLaDA-V 所用 1650 万条样本之比,并不代表把从零训练的总成本降到 5%;起点模型 Qwen2.5-VL 自身已有的能力是重要的外部投入^[6]。同样,标题中的“任意”是对方法适用范围的提法,实验只在 Qwen2.5-VL、Qwen3-VL、InternVL3.5 等有限底座上做了验证,更大规模与更多模态仍需检验^[6]。

扩散转换本身也带来质量代价。在控制变量的对比中,扩散微调达到每秒 46.37 个 token 的吞吐,高于同配置自回归微调的每秒 34.17 个 token,但 BERTScore 从 32.1 降到 30.9,说明相当一部分下游能力来自强初始化,而转换出的解码过程伴随一定质量损失^[6]。此外块之间仍是自回归依赖,后续块无法修正已经完成的历史;把置信度阈值从 1.0 降到 0.2 时,BERTScore 从 30.2 降至 18.6,加速幅度与质量下降直接相关^[9]。块尺寸也存在同样取舍:很长的块因自回归依赖减弱而带来质量损失^[10]。

速度优势并非在所有任务上都成立。基础版本的 MathVista 吞吐只有每秒 5.21 个 token,数学任务不必然被加速;约 2 倍的字幕生成加速是在最多 512 个 token、并行度对齐的 DetailCaps 条件下测得,不能外推到任意请求^[6]。块扩散在 ChartQA 上得 84.20 分而全扩散为 52.00 分,但在 MME 感知上为 1519 分,低于全扩散的 1607 分,并非每项指标都占优^[6]。作者列出的后续方向包括把转换扩展到预训练与强化学习阶段、尝试非均匀噪声调度以及向音频、视频等模态延伸,这些都属于尚未验证的设想^[10]。

参见

• 自回归模型 —— 逐 token 顺序生成的语言模型范式,DiffusionVL 的起点模型即属此类。

• 扩散模型 —— 通过迭代去噪生成内容的一类模型,DiffusionVL 借鉴的生成范式。

• 视觉语言模型 —— 同时处理图像与文本的模型,DiffusionVL 所属的模型类别。

• Qwen2.5-VL —— 被用作转换底座的视觉语言模型之一。

• LLaVA —— 其两阶段视觉指令微调流程被用于从纯语言模型出发的转换路径。

• KV缓存 —— 推理加速的关键机制,DiffusionVL 的块解码依赖其复用。