视觉语言模型

定义

视觉语言模型是接受图像与文本共同输入、并输出文本或其他语言形式结果的深度学习模型，英文写作 Vision-Language Model，常缩写为 VLM^[1]。它区别于只处理文字的纯文本语言模型，核心在于把两种模态的表示映射到同一语义空间中，使模型能够建立图像内容与自然语言描述之间的对应关系^[1]。当一个视觉语言模型以较大的语言模型为推理主干时，通常被称为多模态大语言模型(MLLM)，视觉语言模型可以视为这一大类的统称^[2]。

第二段说明它与相邻概念的区别。视觉语言模型与图像生成模型不同，前者以理解图像并给出语言回答为主，后者以生成像素画面为主；部分统一架构则同时承担理解与生成两类功能，例如把图像离散为视觉词元后与文本词元一起送入自回归模型^[3]。在中文语境里，视觉语言模型与图文预训练模型、多模态模型等说法常有交叉，具体所指取决于是否强调使用大规模图文预训练^[4]。

原理

典型的视觉语言模型由视觉编码器、模态对齐模块和语言模型三部分组成。视觉编码器负责把图像切成图块并编码为特征向量，早期方案多采用卷积神经网络，后来自视觉Transformer成为主流选择；文本侧则由 Transformer 编码器处理词元序列^[4]。对齐模块再把视觉特征转换到语言模型可以接受的表示空间，使图像信息能够作为“软提示”参与后续推理^[5]。

从信息流向看，模型首先得到图像特征 $v$ 与文本特征 $t$，并在共享空间中计算二者的相似度。对比学习常用的对称交叉熵目标可写作：

$L = -\frac{1}{N}\sum_{i=1}^{N}\left[\log\frac{\exp(s_{ii}/\tau)}{\sum_{j}\exp(s_{ij}/\tau)} + \log\frac{\exp(s_{ii}/\tau)}{\sum_{j}\exp(s_{ji}/\tau)}\right]$

其中 $s_{ij}$ 表示第 $i$ 张图像与第 $j$ 段文本的余弦相似度，$\tau$ 为温度系数，训练目标是让配对样本相似度更高、非配对样本更低^[6]。这种双塔结构计算高效，适合大规模图文检索，但不擅长需要深层交互的视觉问答^[4]。

为解决交互不足的问题，研究者提出单塔与融合结构：把图像词元与文本词元拼接后交给自注意力层统一建模，或用交叉注意力让文本查询图像特征。BLIP-2 采用轻量的 Q-Former 作为桥接模块，先以冻结的视觉编码器提取特征，再把少量可学习查询向量投影进冻结语言模型的词元空间，从而以较小训练代价获得图像条件下的生成与推理能力^[5]。

flowchart LR

A[图像输入] --> B[视觉编码器]

B --> C[对齐模块 / Q-Former]

D[文本指令] --> E[语言模型]

C --> E

E --> F[文本输出：描述、回答、识别结果]

发展历程

视觉与语言结合的研究可追溯到 2013 年前后以词向量表示类别、实现零样本图像分类的尝试，随后出现了把图像与其描述映射到同一向量空间的双编码器模型，用于图文互相检索^[6]。2019 年起，研究者把 BERT 结构扩展到视觉语言领域，ViLBERT 以双流结构分别编码图像与文本并通过注意力融合，VisualBERT 则把图像区域特征与词元直接拼接后输入标准 BERT^[7]。

2021 年，OpenAI 公布 CLIP，用约 4 亿组网络图文对做对比预训练，图像侧可选 ResNet 或视觉Transformer，文本侧使用 Transformer，在 30 余项视觉任务上展现出较强的零样本迁移能力^[6]。同期谷歌的 ALIGN 把同样的双塔对比思路扩展到十亿级带噪声的网络图文对，说明数据规模本身即可带来稳健的联合表示^[6]。

此后路线转向借用大语言模型的世界知识与表达能力。Flamingo 用视觉编码器配合 Perceiver Resampler 处理变长视觉输入，并通过交叉注意力层接入语言模型；BLIP 系列在同一框架下兼顾对比对齐、图文匹配与描述生成^[5]。2023 年前后，MiniGPT-4、LLaVA 等把视觉词元嵌入语言模型语义空间并对语言模型微调，成为开源多模态模型的重要范式^[5]。

中文与开源社区的产品化进程同步推进。面壁智能的 MiniCPM-V 2.6 以 SigLIP-400M 与 Qwen2-7B 为基础构建，参数总量 8B，支持多图与视频理解，处理 180 万像素图像时仅产生 640 个视觉词元^[2]。百度 ERNIE 团队开源了 280 亿参数的 ERNIE-4.5-VL-28B-A3B-Thinking，采用混合专家结构，每次推理仅激活 3B 参数，并引入展示推理过程的“思维链”机制^[8]。

应用

图文检索是最早成熟的应用。由于双塔模型可以预先计算图像与文本向量、以内积近似语义相似度，它被用于以自然语言查找图片或以图片查找相关文本，在跨模态检索场景中效率较高^[4]。

视觉问答与图像描述是视觉语言模型的典型任务。模型接受一张图片和一句问题，直接生成自然语言答案，或为图片自动撰写说明文字；PaLI 系列等模型把 SigLIP 视觉模型与 Gemma 2 语言模型组合，可用于图像与短视频描述、视觉问答、光学字符识别、目标检测等^[9]。

文档与文字识别类任务受益于高分辨率输入能力。MiniCPM-V 2.6 可处理任意长宽比、最高约 180 万像素的图像，在 OCRBench 上取得较好成绩，并支持多语种识别^[2]。图表分析、科学题目求解等需要细粒度视觉推理的任务，也成为新一代模型的测试方向^[8]。

视频与具身场景是延伸方向。部分模型通过统一表示同时处理图像与视频，或把相邻两帧联合嵌入以压缩时序长度^[9][10]。在机器人领域，模型可把“识别物体位置—推演三维关系—判断操作条件—输出行动决策”串成链条，为机械臂提供可执行的点位与动作规划^[11]。

局限

首先是视觉与语言两部分的能力不对等。现有工作中视觉编码器的表示容量通常明显小于语言主干，图像信息在转译为词元的过程中会被压缩，细粒度空间关系和大尺寸文字容易损失^[5]。有研究指出，以 TokLIP 为代表的离散视觉词元方案在统一理解与生成时，还受重建损失与文本对齐损失相互冲突、量化带来信息损失等困扰^[3]。

其次是双塔对比学习的结构性缺陷。这类模型只在损失层面对整幅图像与整段文本做全局匹配，模型内部没有跨模态注意力，难以捕捉区域与短语之间的局部对应，因此在视觉定位、深度视觉推理等任务上表现有限^[7]。同一问题在视频上更突出，视频既要保留空间细节，又要表达时序演变，词元预算十分紧张^[9]。

再次是训练与部署成本。拼接式架构需要视觉编码器、对齐模块与语言模型协同工作，信息在模块之间多次转译，往往要靠扩大参数规模弥补损耗；单塔与融合结构虽有更强的跨模态建模能力，但运算效率低于双塔结构^[4][12]。端侧场景下，模型还需在精度与内存、时延之间取舍^[10]。

此外还有可靠性与评测方面的不足。多模态基准测试覆盖面不一，同一模型在不同榜单上的表现差异较大，一些专有模型还存在指令遵循不稳定、答非所问的情况^[9]。对于图像中不存在的细节，模型可能给出看似合理却无依据的描述，如何评估和降低这类错误，仍是公开研究关注的问题^[2]。

参见

• 多模态大语言模型 —— 以语言模型为推理主干、同时接纳图像等模态输入的模型类别。

• CLIP —— 以大规模图文对比学习对齐视觉与语言表示的早期代表模型。

• 视觉Transformer —— 把图像切分为图块并以自注意力建模的视觉编码结构。

• 对比学习 —— 通过拉近正样本对、推远负样本对来学习表征的自监督方法。

• 视觉问答 —— 给定图像与问题、要求模型输出自然语言答案的典型任务。