LLaDA-V
定义
LLaDA-V是一种完全基于扩散机制的多模态大语言模型(MLLM)，能够接收图像与文本指令并生成文本回答[1]。它与常见的“视觉大模型+自回归语言模型”组合不同，语言部分直接采用大型语言扩散模型LLaDA，因此生成过程不是从左到右逐词预测，而是在整段回答上反复去噪[3]。这一模型的意义在于，它把视觉指令微调这一成熟范式移植到扩散语言模型上，用于检验扩散架构能否承担多模态理解任务[1]。
研究者在论文中把LLaDA-V定位为一次架构层面的探索，而非提出全新网络结构；其贡献在于说明大型语言扩散模型可以作为自回归范式的可扩展替代方案[3]。模型名称中的LLaDA指其底座语言模型，V则对应视觉(Visual)能力[1]。
原理
LLaDA-V沿用视觉指令微调的经典三段式结构：视觉塔、连接器和语言塔[4]。视觉塔采用SigLIP 2中的siglip2-so400m-patch14-384，把图像编码为视觉表示；连接器是随机初始化的两层MLP，将视觉特征投影到语言模型的词嵌入空间；语言塔为LLaDA，其结构大体沿自LLaMA3，但去掉了因果掩码，改为双向Transformer[3]。
在训练目标上，图像特征与用户指令保持不被遮蔽，只有回答部分被随机替换为特殊的掩码标记 [M]；模型学习在给定未遮蔽上下文的情况下还原被遮蔽的答案词元[3]。形式化地说，前向过程从[0,1]均匀采样时间步$t$，每个词元以概率$t$被替换为[M]；反向过程则从全为[M]的序列出发，逐步预测出真实词元[4]。
反向采样时，模型先找出仍处掩码状态的位置，按$p_\theta(x_0^i \mid x_t)$采样候选词元，再按与时间步相关的比例$s/t$重新遮蔽一部分词元。LLaDA-V沿用LLaDA的低置信度重遮蔽策略，即优先遮蔽预测置信度最低的词元，从而在后续步骤中修正这些位置[4]。
由于没有因果掩码，LLaDA-V的注意力是全局双向的：序列中靠前的词元也能关注靠后的词元。附录中的统计显示，LLaMA3-V的未来关注注意力比例接近零，而LLaDA-V约为53.41%，研究者据此认为这种双向注意力更利于捕捉图像中的空间依赖关系[4]。
flowchart LR
A[输入图像] --> B[SigLIP 2 视觉塔]
B --> C[两层 MLP 连接器]
D[文本指令] --> E[LLaDA 语言塔]
C --> E
E --> F[全掩码回答序列]
F --> G[迭代去噪与低置信度重遮蔽]
G --> H[输出回答]
发展历程
LLaDA-V的论文于2025年5月22日首次提交至预印本平台，同月稍后发布了修订版本[1]。论文由Zebin You、Shen Nie、Xiaolu Zhang、Jun Zhou、Zhiwu Lu、Ji-Rong Wen、Chongxuan Li等作者合作完成[2]。
该工作其后被IEEE/CVF计算机视觉与模式识别会议(CVPR 2026)录用，收录于会议论文集的第10093至10105页[2]。为便于后续研究，研究团队公开了模型权重以及训练和评测代码；模型页面在2026年3月仍有更新[5]。
相关工作随后出现，例如2026年1月有研究针对LLaDA-V的双向注意力与迭代去噪带来的计算开销，提出结构化视觉词元剪枝方法[6]。
应用
LLaDA-V面向多模态理解任务，论文评测覆盖多学科知识与数学推理、图表与文档理解、真实场景理解、多图与视频理解等类别[3]。在跨学科知识与数学推理的9项基准中，它在其中6项上超过使用自回归语言塔的LLaMA3-V，尽管其语言塔在纯文本任务上略弱[3]。
在与Qwen2-VL的对比中，LLaDA-V缩小了差距，并在MMStar等部分基准上取得接近的成绩(60.1对60.7)；相较于已有的纯扩散与混合扩散多模态模型，报告结果为领先水平[3]。
在部署层面，LLaDA-V可结合Fast-dLLM及其可配置的缓存刷新策略，在准确率与延迟之间做折中。补充材料给出的数据显示，随着刷新间隔增大，吞吐量从约10.6词元每秒提升到约35.5词元每秒，准确率则从59.1%下降到56.8%左右[4]。
局限
LLaDA-V的语言塔LLaDA在纯文本任务上弱于LLaMA3-8B与Qwen2-7B，这在一定程度上限制了其多模态表现的上限[1]。研究者指出，提升主要来自双向注意力对空间依赖的建模，而非来自更强的语言能力；在图表、文档理解与真实场景理解等基准上，其随数据规模增长的优势也不如多学科知识类任务明显[3]。
架构上，由于移除了因果掩码，LLaDA不支持KV缓存，且双向注意力与迭代去噪使视觉词元在每一层和每个去噪步骤中被重复处理，带来显著计算开销[4][6]。后续分析还发现，LLaDA-V主要在网络中后层汇聚跨模态信息，语义对齐相对滞后，这也是针对性的词元剪枝需要瞄准中后层的原因[6]。
相关研究显示，结构化剪枝可在多种基准上把计算量最多降低约65%，同时平均保留约95%的任务性能，这也从侧面说明原始推理流程的计算冗余较大[6]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-29]
- thecvf.com 上的网页 [引用日期2026-10-29]
- thecvf.com 上的 PDF 文件 [引用日期2026-10-29]
- You_LLaDA-V_Large_Language_CVPR_2026_supplemental(PDF) [引用日期2026-10-29]
- README.md · GSAI-ML/LLaDA-V at main [引用日期2026-10-29]
- Efficient Token Pruning for LLaDA-V - Skip to main content [引用日期2026-10-29]