Flickr30K
定义
Flickr30K是一个图像与自然语言句子成对组织的多模态数据集，其名称中的“30K”来自图像规模约为 3 万张这一量级[1]。数据集的每张照片都与 5 条独立撰写、语义相近的英文句子绑定，这 5 条描述被视为同一图像的多份参考，用于刻画人类对同一画面可能给出的不同说法。
按官方统计，数据集包含 31783 张彩色图像和 158915 条英文描述，即图像数乘以 5 得到描述总数[2]。图像本身采集自 Flickr 这一图片分享平台，拍摄内容以人物参与的日常活动、社交场景和户外风光为主，描述多为对画面内容的直接陈述[1][4]。
原理
Flickr30K的基本组织单位是图像-句子对。给定一张图像 $x$ 和与它对应的若干句子 $\{s_1,\dots,s_k\}$（该数据集中 $k=5$），模型需要学习把两种模态映射到同一表示空间，使匹配的图像与句子在空间中彼此接近，不匹配的远离。这种结构使同一份数据既能支撑“看图写句”，也能支撑“以文搜图”和“以图搜文”。
在评测阶段，数据集被划分为训练、验证与测试三部分，常见做法是 29783 张用于训练、1000 张用于验证、1000 张用于测试，该划分方式在一些文献中被称为 Karpathy 划分并被广泛沿用。检索类任务以召回率 R@1、R@5、R@10 为主要指标，其含义是：把 1000 张测试图像或 5000 条测试句子作为候选，正确结果排在首位、前 5 位、前 10 位的比例[4]。
图像描述任务则把生成的句子与 5 条参考句子比对，常用 BLEU、METEOR、ROUGE、CIDEr 和 SPICE 等指标计算重合度与语义一致性。由于每条图像有多份参考，评价时会同时考虑与多份参考的接近程度，而非只对单一标准答案打分。
发展历程
数据集的整理与标注工作由伊利诺伊大学厄巴纳-香槟分校的研究者完成，Peter Young、Alice Lai、Micah Hodosh 与 Julia Hockenmaier 在 2014 年发表于《Transactions of the Association for Computational Linguistics》的论文中正式介绍了包含约 3 万张图像和约 15 万条描述的这一语料，并将其用于构建“指称图”（denotation graph）以定义新的语义相似度度量[5]。该语料在规模上属于早期 Flickr8K 的扩展，因而在图像描述研究的早期阶段被迅速采用[6]。
2015 年，同一研究群体中的 Bryan A. Plummer 等人发布了 Flickr30K Entities，为原有 15.8 万条描述补充了 24.4 万条共指链和 27.6 万个手工标注边界框，把句子中的名词短语与图像中的具体区域对应起来[3][7]。此后该数据集被 PyTorch 等深度学习框架以及多个开放数据平台收录为可直接调用的标准数据集条目[8]。
随着多模态大模型的发展，Flickr30K也被整合进面向大模型的评测流程中，作为图文检索与图像描述的固定测试项使用[9]。数据集本身的图像版权仍归原拍摄者所有，随附说明要求仅用于非商业的研究与教学用途[2]。
应用
最典型的用途是图像描述生成，即让模型输出一句描述画面的自然语言，并与 5 条人工参考比较得分，这一任务长期以 Flickr30K 与 MS COCO 作为主干基准。由于规模较小、训练成本低，它常被用作新模型的首轮验证集。
第二类用途是跨模态检索，包括以文本检索图像和以图像检索文本两个方向，评测时以 1000 张图像与 5000 条句子的候选集计算召回率[4]。CLIP 类图文对齐模型的评测中，该数据集也常被列入下游任务清单。
借助 Flickr30K Entities 提供的短语与区域对应关系，该数据集还被用于短语定位、指代表达理解和有依据的图像描述等任务，即不仅要求说出图像里有什么，还要求指出对应位置[3]。此外，其图文对也被用于构建视觉蕴含类数据集，例如 SNLI-VE 即在该数据集图像的基础上构造。
局限
规模是首要限制。3 万张图像、15 万条描述的体量远小于后来的 MS COCO 等数据集，训练数据量偏小容易导致模型过拟合，因此该数据集更多承担评测与快速验证的角色，而非大规模预训练语料[10]。
标注本身也带有噪声和不一致。官方仓库承认存在一批描述与图像内容无关的样本，并单独列出了相关清单，且说明该清单可能并不完整[2]。有研究系统分析了数据集中的刻板印象问题，指出众包描述在种族、性别等属性上存在不均衡的标记倾向，若直接以之为训练和评测目标，模型会继承这些倾向。
此外，测试集的句子按长度排序存放，位置靠后的句子平均只有约 8 个词，不同句位的检索难度并不一致，评测时若不取平均容易产生位置偏差[11]。图像的版权不属于数据集发布方，使用需遵守平台条款并限于非商业目的，这也在一定程度上限制了它的流通[2]。
参见
参考资料
- retrieval - cv-evaluation数据集 [引用日期2026-10-29]
- flickr30k_entities [引用日期2026-10-29]
- 数据集介绍 [引用日期2026-10-29]
- create_pdf [引用日期2026-10-29]
- aclanthology.org 上的网页 [引用日期2026-10-29]
- How would you describe this image? [引用日期2026-10-29]
- Julia Hockenmaier [引用日期2026-10-29]
- Flickr30k [引用日期2026-10-29]
- Large-scale Multi-modality Models Evaluation Suite [引用日期2026-10-29]
- 2024ORLE1003_va(PDF) [引用日期2026-10-29]
- **Leave-one-out (LOO) [引用日期2026-10-29]