CLIP
定义
CLIP 是一种同时包含图像编码器与文本编码器的神经网络，其名称来自 Contrastive Language-Image Pre-training，即对比语言-图像预训练[2]。它并不是为某一固定类别集合设计的分类器，而是在大量图像-文本对上学习两种模态之间的对应关系，模型规模覆盖从 ResNet 到 Vision Transformer 的多种图像骨干[2]。
训练数据来自互联网上公开的图文配对，官方论文给出的规模是 4 亿对[1]。由于监督信号由自然语言提供，模型可以借助文本描述指代已学会的视觉概念，也可用于描述训练中未出现的新概念[1]。
在方法谱系上，CLIP 被视为 对比学习 与自然语言监督两条研究路线在大规模数据上的结合，其训练目标为简化后的 ConVIRT 形式[4]。
原理
模型由两个彼此独立的编码器组成：图像编码器把图片映射为向量，文本编码器把描述语句映射为同维度的向量，两个编码器之间不共享权重，仅在输出空间上对齐[3]。编码结果经过归一化后，以向量夹角余弦衡量图文之间的相似程度，语义相近的图与文在空间中的距离更近[4]。
训练时取一批含 $N$ 个图文对的数据，计算全部 $N \times N$ 种图与文的相似度，目标是让对角线上正确配对的相似度升高、其余非配对组合的相似度降低，损失函数沿用受 InfoNCE 启发的对称交叉熵形式，并引入可学习的温度参数控制分布的陡峭程度[4][5]。
论文报告，将预测整段描述的生成式目标换成对比目标后，学习效率又提高了 4 倍[4]。推理阶段的零样本分类不再训练新参数，而是把候选类别填入「一张某类事物的照片」一类模板，将模板文本编码后与图像向量比较，取相似度最高的类别作为预测结果[6]。
发展历程
CLIP 的论文由 Alec Radford、Jong Wook Kim、Chris Hallacy 等 12 位作者共同完成，2021 年以预印本形式公开，随后收录于国际机器学习会议(ICML)2021 年论文集[7][8]。研究团队训练了 8 个规模跨越近两个数量级计算量的模型，用于观察性能随算力的变化[4]。
评估覆盖 30 多个已有的计算机视觉数据集，涉及光学字符识别、视频动作识别、地理位置判定与细粒度物体分类等任务；在 ImageNet 上不接触其 128 万张训练样本的零样本设置下，CLIP 达到与原始 ResNet-50 相当的准确率[1]。研究团队同时公开了代码与预训练权重[1]。
此后社区在原始架构基础上发展出多条改进线。OpenCLIP 在公开的 LAION 数据集上复现并放大 CLIP 式训练，训练规模最高达 20 亿图文对[3]；MetaCLIP 转而研究数据整理策略，用 WordNet 概念与维基百科条目衍生的元数据平衡网络数据[3]。Google 提出的 SigLIP 以 sigmoid 损失替代 softmax 形式的对比损失，被认为更利于扩展[9]。
2025 年，Meta 与麻省理工学院、普林斯顿大学、纽约大学的研究者发布 MetaCLIP 2，首次尝试在原生全球图文对上从零训练 CLIP，覆盖 300 多种语言，且不依赖机器翻译或蒸馏[10]。
应用
最直接的应用是零样本图像分类与跨模态检索。分类只需给出候选类别的文字描述；检索则可预先算好图库向量，用余弦相似度排序，无需额外的跨模态编码器[3]。这一特性也延伸到开放词表的物体检测与分割，把文字当作动态生成的分类器[11]。
在图像生成方向，DALL-E 2 的前身工作使用一个先验模块由文本生成 CLIP 图像嵌入，再由扩散解码器据此出图，其间 CLIP 部分保持冻结[3]。Stable Diffusion 第 1 版则以固定的 CLIP ViT-L/14 文本编码器为潜在扩散模型提供条件，官方文档给出的文本编码器参数量为 1.23 亿[3]。
多模态大模型常把 CLIP 的图像编码器当作可复用的视觉接口，LLaVA 的初版架构即由预训练 CLIP ViT-L/14 图像编码器、可训练线性投影层与一个语言模型组成，第一阶段冻结编码器与语言模型、只训练投影层[3]。此外，CLIP 的图文相似度被改造为无需参考译文的图像描述评价指标 CLIPScore，在原作者实验中其与人工判断的相关性优于基于参考的 CIDEr 与 SPICE[3]。
适配方法方面，CoOp 用可学习的连续提示向量替换手写模板，同时保持预训练模型不变；CoCoOp 进一步让提示依赖输入内容，以改善从已知类到新类的泛化[3]。
局限
CLIP 的组合性理解较弱。2023 年一项发表于 EMNLP 的研究用纯文本重建探针测试发现，CLIP 文本编码器在物体关系、属性与物体的对应、计数和否定表达上均存在不足，输入越复杂，单项属性表现越差。相关分析把 CLIP 比作词袋匹配器，指出它可能混淆「草里的灯泡」与「灯泡里的草」这类主宾颠倒的描述[12]。
训练数据的偏差会直接传导为能力短板。图文对中精确数量描述不足，使模型在大数目计数与序数回归上表现不理想[13]。对特定领域或细粒度任务，如区分花卉品种、对分布外图像的泛化，模型同样受限，且训练本身需要大量数据与算力[14]。
跨语言扩展也存在障碍。原始 CLIP 以英语图文对训练，迁移到其他语言时高质量图文对稀缺；有研究指出多语言版本常在英语上不及其纯英语对应版本，这一现象被称为「多语言的诅咒」[15][10]。
由于 CLIP 常被复用为其他系统的视觉编码器，其组合性缺陷会传递给下游的多模态对话模型与生成模型[16]。
参见
参考资料
- 2021arXiv210300020R [引用日期2026-10-29]
- sources/clip.md · tbukuai/hf-papers-wiki at main [引用日期2026-10-29]
- clip [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- CLIP (Contrastive Language-Image Pre-training) [引用日期2026-10-29]
- CLIP — AI 维基 [引用日期2026-10-29]
- citations [引用日期2026-10-29]
- mendeley.com 上的网页 [引用日期2026-10-29]
- 多模态AI核心技术:CLIP与SigLIP技术原理与应用进展 [引用日期2026-10-29]
- OpenAI提出的CLIP,被Meta联合谢赛宁、刘壮,扩展到全球300+语言 [引用日期2026-10-29]
- clip [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- Multimodality in Vision and Language Models [引用日期2026-10-29]
- Ledell Wu [引用日期2026-10-29]
- techrxiv.org 上的网页 [引用日期2026-10-29]