图像嵌入

定义

图像嵌入指把一幅图像映射为一个固定长度的一维实数数组，即嵌入向量。这个过程通常由预训练的神经网络完成，网络输出的向量在维度上对图像内容的不同属性作出编码，使语义相近的图像在向量空间中彼此靠近。图像嵌入常被直接当作一种数据结构用于检索，其长度在模型确定后即固定，但数值随输入图像而变^[1]。

在视觉任务中，图像嵌入既可以是图像中的局部块表示，也可以是整幅图像的全局表示。视觉变换器(Vision Transformer)把图像切分为若干正方形图像块，将每块展平后经线性投影得到块嵌入，这些块嵌入在形式上与文本嵌入没有本质区别。把各块信息汇聚为一个向量，则得到整幅图像的全局表达^[2]。

原理

图像嵌入的核心是学习一个从像素空间到低维向量空间的映射函数 $f: \mathbb{R}^{H \times W \times 3} \to \mathbb{R}^{d}$，使相似的图像在该空间中距离较近。实现这一映射的模型多为深度神经网络，包括卷积神经网络与以自注意力为基础的视觉变换器；在网络末端或中间层取出的激活值即可充当嵌入^[3]。

训练目标决定了嵌入空间的组织方式。度量学习类方法通过正负样本对构造损失，把同类样本的嵌入拉近、异类样本推远，深度度量学习因此被广泛用于图像检索与人脸识别等任务^[4]。对比学习类方法则在图文对上进行对齐训练，使配对的图像与文本在共享空间中靠近^[5]。

得到嵌入之后，比较图像相似度通常只需求解向量间的距离或相似度，常见度量包括欧氏距离与余弦距离。若需从海量向量中找出最近邻，则要预先建立向量索引，例如基于图的 HNSW 或基于聚类的倒排索引 IVF，以便在保证召回率的同时把检索延迟显著降低^[6]。

flowchart LR

A[输入图像] --> B[预处理 缩放 归一化]

B --> C[编码器 卷积网络或视觉变换器]

C --> D[嵌入向量 d 维]

D --> E[存入向量库并建索引]

Q[查询图像或文本] --> R[同一空间编码]

R --> S[距离计算与近邻检索]

E --> S

S --> T[排序返回结果]

预处理是这一流程中的常规环节。由于输入图像的尺寸与格式可能不统一，实践中会先将图像缩放并按规定均值与方差对各颜色通道作标准化，再送入编码器生成嵌入^[1]。部分系统还会对输出向量作归一化，以便分类器或相似度计算直接使用^[7]。

发展历程

图像检索的早期方案以文本元数据和人工设计的底层视觉特征为线索。20 世纪 90 年代出现了基于内容的图像检索，用颜色直方图、SIFT 等手工特征计算相似度，但底层特征与人类感知的高层语义之间存在难以弥合的差距。为把每幅图像的大量局部描述子压缩为定长向量，研究者提出了词袋模型与 VLAD、Fisher 向量等聚合方式，这类聚合可视为图像嵌入的早期形态。

2012 年深度卷积网络在大规模视觉识别挑战赛中取得突破后，从网络中直接提取的特征逐渐取代手工描述子。深度网络学到的特征高度抽象且带有语义信息，其末端全连接层的输出可作为图像的紧凑表示用于相似性搜索^[8]。此后，三元组损失等度量学习目标与深度网络结合，进一步提升了检索精度^[9]。

2021 年，OpenAI 的对比语言-图像预训练(CLIP)模型给出了影响较大的方案：使用约 4 亿对来自互联网的图文数据，以对比学习让配对图文在向量空间中靠近、不配对的远离，从而把文字与图像映射到同一向量空间^[10]。该模型采用双编码器结构，图像编码器使用视觉变换器或残差网络，文本编码器用于提取语言特征，两者输出在同一嵌入空间内计算相似度^[5]。

这一思路随后向更多模态与更多语言扩展。中文场景下出现了针对中文优化的图文模型，以及以中文编码器替换原英文文本编码器的改进方案^[11]。ImageBind 等模型进一步把文本、图像、音频、深度图、热成像与运动传感器数据纳入统一的嵌入空间^[12]。

应用

以图搜图是图像嵌入最直接的应用。系统先对图库中的图片逐一计算嵌入并写入向量数据库，查询时对用户提交的图片作同样处理，再依据向量相似度召回结果。电商场景中，用户上传商品图片即可从持续更新的图库中召回外观、颜色、形状与风格相近的商品，无需依赖文件名或人工标签^[13]。

跨模态检索依托共享嵌入空间实现。图文对齐模型把文本与图片编码到同一空间后，可以用文字描述查询图片，也可以用图片反查相关文本，检索时只需计算预存特征的相似度^[14]。数字资产管理、安防监控与图像取证等场景同样使用这种向量化检索方式，按视觉特征查找符合条件的图像。

在数据治理方面，图像嵌入可用于语义层面的数据去重，通过比较数据点之间的相似性识别重复或高度相似的内容^[7]。图像内容审核中的美学评分与不适内容分类，也常以嵌入向量作为分类器的输入^[7]。此外，在生成模型与多模态问答系统中，图像嵌入作为视觉信息的接口输入语言模型^[2]。

局限

单一向量难以承载空间与组合结构。以图文对齐为代表的对比学习模型通常为每幅图像输出一个向量、为每段文本输出一个向量，图像的布局与部件组合信息在这一汇聚过程中被压缩掉，因此在对定位要求高的问答任务中表现不足，这也是部分系统保留全部图像块特征而非只取整图向量的原因^[2]。

嵌入的语义质量受训练数据制约。使用网络爬取数据训练的模型会继承数据中的社会偏见与事实错误，其输出因此在人群分类、性别联想等方面存在偏差风险^[2]。同时，对比学习模型的失败案例并不罕见，在部分任务上其表现接近随机猜测，且这类模型在样本效率上仍明显低于人类^[15]。

嵌入的可比性有边界。只有由同一模型类型生成的向量才能相互比较与匹配，由一个模型向量化的图像无法用另一个模型检索。相似度分数适合在单次查询内对结果排序，但不宜跨查询直接比较。此外，图像嵌入侧重语义与视觉相似，若要判断仅经过缩放或压缩的相同文件，仍需借助哈希等方法来补充^[13]。

在领域数据上，通用模型的表现可能明显下降。通用视觉语言模型主要基于互联网图文训练，其学到的视觉语义分布与遥感影像等在成像视角、空间结构和语义表达上有差别，需要借助领域数据集继续预训练或微调来适配^[16]。

参见

• 向量嵌入 —— 图像嵌入所属的更一般概念，指把数据对象表示为数值向量。

• 对比语言-图像预训练 —— 把图像与文本对齐到同一嵌入空间的代表性模型。

• 视觉变换器 —— 将图像切分为块并生成块嵌入的神经网络结构。

• 以图搜图 —— 直接以图像嵌入为查询依据的检索应用。

• 向量数据库 —— 存储嵌入向量并支持近邻检索的系统。

• 深度度量学习 —— 通过正负样本对训练嵌入空间的方法。