视觉—语言大模型

定义

视觉—语言大模型指一类以语言模型为推理与生成核心、同时接收视觉输入的人工智能模型。它把图像或视频与文字指令放进同一条输入序列，再以自然语言或结构化文本给出结果^[2]。按这种界定，视觉聊天助手、图像转文字系统、文档与界面智能体都属于这一范围^[3]。

它不同于只输出固定类别标签的传统图像识别模型，输出是开放式的，可以回答未预设的问题、比较若干张图片、读取截图或解释图表^[3]。由于视觉信息需要先编码为词元才能进入语言模型，模型实际可用的视觉证据受到编码与压缩环节的约束，这也解释了它在整体理解上表现较强、在精确计数与细小文字上却容易出错的现象^[4]。

原理

主流架构由三部分构成：提取图像特征的视觉编码器、连接两种模态的桥接模块，以及承担语言理解与生成的主干语言模型^[1]。视觉编码器多采用 视觉 Transformer(ViT) 一类结构，把图像切分为图块并编码为特征序列；桥接模块再把变长的视觉特征转成语言模型可处理的视觉词元。文字指令与视觉词元拼接后一同输入语言模型，模型据此自回归地生成回答^[2]。

图文对齐是训练的基础环节。以 CLIP 为代表的对比式预训练将图像和文本分别编码后映射到同一表征空间，用配对的图文样本拉近正样本、推远负样本，从而在无需人工类别标注的情况下学到可迁移的视觉表征^[1]。这一目标通常以批次内图文对的相似度计算实现，可写作 $\mathcal{L}=-\frac{1}{n}\sum_{i}\sum_{j}\left[\mathbf{1}_{i=j}\log\sigma(s_{ij})+\mathbf{1}_{i\neq j}\log\sigma(-s_{ij})\right]$，其中 $s_{ij}$ 为第 $i$ 张图与第 $j$ 段文本的相似度得分^[5]。后续工作在此基础上加入跨模态注意力或生成式目标，以补足对比学习只能做整体匹配、难以捕捉局部对应的不足^[1]。

桥接模块的设计决定训练成本。Flamingo 在冻结的语言模型各层之间插入带门控的交叉注意力层，并用感知器重采样器把数量可变的视觉特征压缩成固定数量的视觉词元^[6]。BLIP-2 则冻结视觉编码器与语言模型，只训练带可学习查询向量的 Q-Former 来完成两种模态之间的转换；LLaVA 一类方案改将视觉词元直接嵌入语言模型的语义空间，并对语言模型做指令微调^[2]。

flowchart LR

A[图像或视频] --> B[视觉编码器]

B --> C[桥接模块: 重采样器或 Q-Former]

C --> D[视觉词元]

E[文本指令] --> F[词元化]

D --> G[主干语言模型]

F --> G

G --> H[自然语言输出]

发展历程

2019 年起，研究者以 BERT 为起点扩展视觉语言预训练，出现双流编码后融合、单流拼接后对齐等结构，验证了跨模态信息交互的可行性^[1]。2021 年 2 月，OpenAI 发布 CLIP，用约 4 亿对网络图文数据做对比预训练，并在 30 多个视觉数据集上验证零样本迁移，模型在 ImageNet 零样本分类上达到与原始 ResNet-50 相当的水平^[7]。

2022 年，深度思维(DeepMind) 提出 Flamingo，以冻结语言模型加视觉桥接的方式接受图文交错输入，并具备少样本适应能力^[6]。2023 年，Salesforce 研究团队提出 BLIP-2，以 Q-Former 连接冻结的视觉编码器与语言模型；同年 LLaVA 等工作引入视觉指令微调，把模型能力从固定任务扩展到开放式对话^[2]。

此后研发重心转向原生多模态联合训练与统一的理解生成架构。2025 年出现的综述性工作已把 GPT-4V、Gemini 等通用模型与各类专用模型并列考察，关注点包括融合架构、指令微调、对齐训练与评测协议^[8]。国内机构亦推出原生多模态模型，例如蚂蚁集团的 Ling-3.0-flash-VL 支持图像、文本与视频输入，上下文窗口为 256K 词元，总参数 124B、单次推理激活 5.5B^[9]。

应用

视觉问答与图像描述是最基础的应用，模型可依据图像内容回答开放式问题或生成说明文字^[10]。在此基础上，视觉推理任务要求模型结合空间、属性与因果关系作出判断，相关能力常通过指令微调获得^[10]。

文档与界面理解是近年扩展较快的方向。此类模型可识别版面、表格与图示，并将界面结构转成操作序列，用于图形界面自动化等场景；有模型在图片转网页任务中生成代码，并依据渲染结果自我修正^[9]。

在机器人领域，视觉语言模型被用作把视觉输入与语言指令转成动作词元的基础，衍生出视觉—语言—动作模型一类的具身方案^[11]。遥感和工业质检等场景也有应用，但多需配合领域数据与后处理^[12]。

局限

视觉幻觉是受到关注最多的问题。按感知错误的维度，可分为物体存在幻觉、物体属性幻觉与物体关系幻觉，即模型报告了实际不存在的物体、错判颜色形状材质，或错认物体间的空间与交互关系^[13]。成因涉及训练描述文本不够细致、语料存在统计偏差、视觉编码的细粒度感知不足，以及视觉特征在生成时未获充分关注等多个层面^[13]。

细粒度感知与空间能力仍是短板。模型对小目标、密集目标和细微纹理差异不敏感，对“A 在 B 左侧”这类空间关系的判断较弱，图中物体超过 5 个时计数常不准确^[12]。文档场景中，模型往往能识别单个字，却难以稳定地把版面、表格与正文逻辑整合起来^[4]。

计算与工程约束同样明显。高分辨率图像、多图与视频会产生大量视觉词元，迅速占用语言模型的上下文预算；以固定数量查询向量压缩视觉特征的做法可降低开销，但代价是丢失部分细节^[4]。此外，医学影像、显微镜图像、天文图等专业领域通常需要专门训练与适配，通用模型难以直接胜任^[4]。在评测层面，现有基准对属性幻觉与关系幻觉的覆盖不足，制约了对模型真实视觉能力的判断^[13]。

参见

• CLIP —— 以图文对比学习实现视觉与语言表征对齐的预训练模型，是视觉编码器的常见来源。

• 大语言模型 —— 视觉—语言大模型的推理与文本生成主干。

• 视觉 Transformer —— 将图像切分为图块并编码为特征序列的视觉编码结构。

• 多模态学习 —— 研究多种模态信息联合表示与融合的方法领域。

• 视觉幻觉 —— 模型输出与图像实际内容不一致的现象，是该类模型的典型局限。

• 视觉—语言—动作模型 —— 把视觉与语言输入映射为动作输出的具身智能衍生方向。