Visual Genome
定义
Visual Genome 是由斯坦福大学等机构研究者构建的大规模图像数据集，其核心特征是同时提供物体、属性、关系、区域描述与问答对等多类密集标注 [1][2][3]。数据集中的物体以二维边界框在图像中定位，物体之间通过关系谓词相连，整幅图像的标注可组织为一个场景图，形式化地表示为 $G=(O,R)$，其中 $O$ 为物体集合，$R$ 为关系集合 [3]。在任务层面，它通常被当作场景图生成的基准数据集使用 [1]。
背景
在图像分类等感知任务取得进展的同时，图像描述与视觉问答等认知任务的表现仍然有限，原因在于这类任务要求模型不仅识别物体，还要理解物体之间的交互和关系 [3]。此前的 Flickr30K、MSCOCO 等数据集主要提供针对整幅图像的高层描述，标注密度不足以支撑关系建模 [3]。Visual Genome 因此被提出，目标是为具备综合场景理解能力的模型提供训练与评测资源 [3]。
内容
数据集由 7 个部分组成，分别是区域描述、物体、属性、关系、区域图、场景图与问答对 [3]。区域描述针对图像的局部区域，每幅图像超过 50 条；问答对由这些描述衍生而来，平均每幅图像有 17 对 [3]。各区域的区域图合并后，形成覆盖整幅图像的场景图 [3]。
数据集的图像取自 YFCC100M 与 MSCOCO 的交集，合计 108,249 张 [4]，其中约 5 万张同时出现在 MSCOCO 中 [6]。平均每幅图像包含 35 个物体、26 类属性、21 组物体间关系和 50 条区域描述 [7]。在常用的场景图生成评测划分中，75,651 张用于训练，32,422 张用于测试 [7]。
数据集中的物体、属性、关系以及区域描述与问答中的名词短语，都被规范化到 WordNet 的同义词集编号，使同一概念在不同图像之间可以统一检索与查询 [3]。原始标注涉及约 3.4 万种物体类别与 4.2 万种关系类别 [7]。由于类别数量庞大且分布不均，后续研究多采用经过筛选的版本，只保留出现频率最高的 150 个物体类别和 50 个谓词类别 [8]。
在该数据集上，场景图生成通常被拆分为场景图检测、场景图分类和谓词分类三个层次的子任务进行评测 [9]。数据集也被用于开放世界视觉关系检测，例如将 21 个谓词留作未见过类别进行测试 [10]。规模对比显示，其图像数量少于 MSCOCO 的 328,000 张，但单幅图像的物体标注数量明显更多 [11]。
影响与争议
Visual Genome 被广泛用于场景图生成研究，被认为是该任务事实上的标准数据集 [1]，并推动了场景图生成与视觉关系检测框架的发展 [10]。它同时被列为图像描述等任务的常用数据集之一 [11]。有研究基于该数据集构建开放词表的视觉关系检测基准，用于检验模型对未见谓词的泛化能力 [10]。
数据集的关系谓词呈明显的长尾分布，少数高频谓词占据了大部分标注样本，这一特点给谓词识别带来持续挑战 [12]。有分析指出，部分关系标签含义模糊，语义相近的谓词难以区分，本应成对出现的逆关系在数据中并不完整，并据此提出合并与重标注谓词的方案 [1]。研究还指出，标注仅使用二维边界框，对于「在前」「在后」这类本身包含三维含义的关系，只接触二维图像的模型难以作出可靠判断 [1]。
参见
参考资料
- thecvf.com 上的 PDF 文件 [引用日期2026-09-27]
- * [Krishna et al [引用日期2026-09-27]
- Visual Genome [引用日期2026-09-27]
- D16-1044(PDF) [引用日期2026-09-27]
- visual-genome-connecting-language-and-w98Vay [引用日期2026-09-27]
- arxiv.org 上的网页 [引用日期2026-09-27]
- CN115439729A(PDF) [引用日期2026-09-27]
- Rethinking the Evaluation of Scene Graph Generation [引用日期2026-09-27]
- 基于多模态对比学习的场景图生成方法-计算机科学2024年S2期-手机知网 [引用日期2026-09-27]
- arxiv.org 上的网页 [引用日期2026-09-27]