组合零样本学习

定义

组合零样本学习面向的是属性与物体二元组合的识别问题。图像标签由两个原语概念拼成，一个是描述物体状态的属性(如「成熟的」)，另一个是物体本身(如「苹果」)，合起来构成「成熟的苹果」这一组合类别^[2]。模型在训练阶段只能看到部分组合，测试阶段则要判断包括未见组合在内的图像类别^[2]。

与普通零样本学习的差别在于，普通零样本学习处理的是单一类别的迁移，而组合零样本学习要求模型掌握原语层面的知识，并能按新的方式把它们拼起来^[3]。因此在标准设置中，两个原语都曾在训练集的其他组合里出现，只有它们的这一具体搭配是新的^[2]。

原理

任务的数学表述建立在集合的笛卡尔积上。设属性集合为 $S=\{s_1,\dots,s_M\}$，物体集合为 $O=\{o_1,\dots,o_N\}$，全部可能组合构成 $C=S\times O$，共有 $|C|=M\times N$ 个类别。其中已见组合集合 $C_s$ 与未见组合集合 $C_u$ 不相交，训练只使用 $C_s$ 中的样本，测试则要求模型对 $C_u$ 给出正确判断^[1]。

按建模思路，已有方法大体分为合成式与解耦式两条路线。合成式方法先用自然语言处理手段取得属性与物体的语义词向量，再学习如何由两个词向量生成对应组合类别的分类器，从而为训练中不存在的组合合成分类器^[4]。解耦式方法则设置属性分类分支与物体分类分支，联合训练后直接把两个分支的预测相乘，得到组合类别的结果^[4]。

近年的一类做法把组合零样本学习接到视觉—语言预训练模型上，冻结图像与文本编码器，只训练提示向量和解耦模块^[5]。这类方法在文本端构造软提示来分离属性与物体语义，在图像端用变分自编码器把视觉特征映射到状态子空间与物体子空间，再通过跨模态对齐完成组合匹配^[5]。

flowchart LR

A[输入图像] --> B[视觉编码器]

B --> C[状态/属性分支]

B --> D[物体分支]

E[组合文本描述] --> F[文本编码器]

F --> G[属性词向量]

F --> H[物体词向量]

C --> I[组合匹配与打分]

D --> I

G --> I

H --> I

I --> J[已见与未见组合的类别预测]

发展历程

任务依托的数据基础可以追溯到 2015 年。Isola 等人在 IEEE 计算机视觉与模式识别会议(CVPR)上发表《Discovering States and Transformations in Image Collections》，构建了覆盖 249 个名词、115 个形容词、约 7 万张图像的集合，把形容词视为物体所处的状态^[6][7]。该数据集后来成为组合零样本学习最常用的基准之一，即 MIT-States^[3]。

2017 年，Misra 等人提出在分类器空间中建模组合变换的思路，指出「红酒」中的红与「红番茄」中的红在视觉上并不相同，因此组合不能靠简单拼接得到^[8]。此后研究逐渐转向深度模型与语义嵌入，图神经网络、注意力机制、对比学习等手段陆续被引入，用来刻画属性与物体之间的依赖关系^[1]。

2021 年起，开放世界设定进入研究视野。该设定不再把候选类别限制在数据集给出的组合上，而是要求在全部潜在组合构成的巨大搜索空间中作出判断，C-GQA 数据集的候选组合接近 28 万个，难度明显高于封闭世界设定^[9]。随后基于 CLIP 等预训练模型的多路径提示与因果解耦方法相继出现，把研究重点转向原语解耦与跨模态对齐^[1]。

应用

主要应用场景是图像分类。在电商与日用品图像中，属性往往表现为材质、款式或颜色，物体表现为商品类别，组合零样本学习可以在缺少某一搭配样本的情况下仍给出完整描述^[10]。相关研究也把这类能力用于开放环境下的图像检索与辅助感知，因为这些场景同样会遇到长尾分布、难以穷尽标注的类别^[11]。

评测主要依托 3 个公开基准：MIT-States 覆盖日常生活概念，UT-Zappos 聚焦鞋类商品的材质与款式，C-GQA 在斯坦福 GQA 数据集基础上构建、组合空间最大^[1][9]。常用指标包括已见组合准确率、未见组合准确率、二者的调和平均 HM，以及随校准偏置变化的已见—未见准确率曲线下面积 AUC^[12]。

局限

属性与物体在视觉表征上的相互纠缠是这一任务的核心困难。同一属性与不同物体组合时，其视觉表现差别很大，模型容易把两者混在一起，导致对未见组合的判断失准^[4]。仅从已见组合训练还会带来对已见类别的偏置，模型倾向于把图像判给见过的搭配^[12]。

数据本身也存在问题。UT-Zappos 中的部分状态差异属于材质差别，未必表现为可见的视觉变化；MIT-States 的图像来自较早的搜索引擎并缺少充分人工标注，标签噪声较多^[9]。此外，真实数据的标签分布呈长尾形态，稀有组合样本极少，进一步加大了识别难度^[13]。

开放世界设定下的绝对性能仍然偏低。有研究指出，即便是当时最优的方法，在 C-GQA 上的未见组合准确率也只有个位数百分比，说明在包含大量干扰候选的搜索空间中泛化仍属未解问题^[14]。依赖预训练视觉—语言模型的方法还可能继承甚至放大数据集中的属性分布偏差，使组合预测出现系统性错误^[11]。

参见

• 零样本学习 —— 组合零样本学习所属的更大学术框架，研究如何识别训练中未出现的类别。

• 属性识别 —— 组合中的原语之一，负责描述物体的状态、材质或颜色。

• 视觉语言模型 —— 近年组合零样本学习常用的骨干模型，提供图像与文本的联合表示。

• MIT-States —— 由状态与物体构成的最常用评测数据集之一。

• 泛化能力 —— 组合零样本学习所考察的核心性质，即把已学知识迁移到新组合。