全景分割

定义

全景分割是面向图像像素的一种联合分割任务，其输出需要覆盖图像中的全部可见像素^[1]。每个像素被赋予一个语义类别标签；若该像素属于可数物体，则再附加一个实例编号，用于区别同类的不同个体^[2]。因此一幅全景分割结果中不存在未分配像素，也不存在互相重叠的实例区域^[5]。

与这种划分相对应，任务把类别分成两类：有明确形状、可以计数的对象称为「物」（things），如人、车；无固定形状、成片分布的背景区域称为「质」（stuff），如天空、道路、草地^[6]。前一类需要区分类别和个体，后一类只区分类别，实例编号被忽略^[7]。语义分割与实例分割各自只完成其中一半，全景分割则要求两者同时成立^[3]。

原理

主流实现沿「特征提取—子任务分割—子任务融合」三段式流程展开^[3]。先由共享骨干网络从输入图像提取特征，常用的骨干包括 VGGNet 与 ResNet 等深度残差结构^[3]。随后在这一特征之上分别执行语义分割与实例分割，得到密集的类别预测和一批带掩码的物体候选^[3]。

融合阶段要把两路结果拼成单一且无冲突的标注图。常见做法是先用置信度阈值筛掉低分实例，再从高分实例开始逐个占位，已被占用的像素从后续实例中扣除；剩余面积过小的碎片则被丢弃^[8]。物与质发生重叠时，重叠像素通常判给物类别。这一套后处理逻辑在 Panoptic FPN 等代表性模型中得到了具体实现，该模型在 Mask R-CNN 上增加语义分支，用共享的特征金字塔网络同时承担两类预测^[9]。

评价指标为全景质量，它由分割质量与识别质量相乘得到，$PQ = SQ \times RQ$。其中分割质量是匹配成功的预测与真值掩码的平均交并比，识别质量相当于匹配结果的 F1 值；交并比大于 0.5 的预测—真值对才算匹配成功。写成统一形式为 $PQ=\frac{\sum_{(p,g)\in TP}\mathrm{IoU}(p,g)}{|TP|+\frac{1}{2}|FP|+\frac{1}{2}|FN|}$，其中 $TP$、$FP$、$FN$ 分别为匹配成功、误检与漏检的数量^[10]。按类别平均后得到整幅数据集的 PQ，也可分别统计物类与质类的子指标。

flowchart LR

A[输入图像] --> B[共享骨干特征提取]

B --> C[语义分割分支]

B --> D[实例分割分支]

C --> E[子任务融合与冲突消解]

D --> E

E --> F[全景分割图: 每像素类别 + 实例编号]

F --> G[PQ 指标评估]

发展历程

全景分割这一任务名称与任务设定，由亚历山大·基里洛夫、何恺明、罗斯·吉尔希克等人在 2018 年提交、2019 年发表于 CVPR 的论文中正式提出^[11]。该论文同时定义了全景质量指标，并在 Cityscapes、ADE20K、Mapillary Vistas 三个已有数据集上比较了人类与机器的表现^[12]。作者指出，早期计算机视觉曾处理过类似的图像解析问题，但缺乏合适的度量，导致相关研究不再流行；提出该任务的意图之一，是重新唤起对统一图像分割视角的关注^[1]。

同期出现的 Panoptic FPN 提供了单网络基线的思路，把实例分割与语义分割放在共享特征金字塔上联合训练^[9]。此后研究大致沿两类路线推进：一类是自底向上的方法，先做像素级预测再聚类成实例；一类是自顶向下的方法，以物体候选为起点补出背景语义；两类之外还出现了把检测、分割统一到一个查询框架中的统一方法^[3]。基于 Transformer 的统一框架成为近年的一条明显趋势，例如 2023 年的 Mask DINO 用一个掩码预测分支同时覆盖实例、全景与语义分割。

应用

自动驾驶是最主要的应用方向之一。行驶场景既需要识别道路、天空等连续区域，也需要逐个区分车辆与行人；全景分割能够为后续的跟踪、决策规划与控制提供完整的场景感知内容^[13]。在机器人感知与室内外环境建模中，全景相机采集的图像同样需要这类逐像素且区分个体的场景理解^[14]。

医学影像分析是另一类用途。在数字病理切片中，同类细胞核往往彼此紧贴，仅靠类别标签会把多个细胞合并成一团，而区分实例的全景式输出则有助于计数与分级^[5]。此外，无人机导航、农业与畜牧巡检等场景也有相关研究报道^[15]。这些应用通常依赖带语义与实例双重标注的公开数据集进行训练和评测，常用的包括 MS COCO、Cityscapes、ADE20K、Mapillary Vistas 与 PASCAL VOC^[15]。

局限

两阶段流程存在结构性缺陷。语义分割与实例分割分支各自独立，特征共享与信息交互不足，难以利用两个任务之间的互补性；后续的融合步骤既增加计算开销，又可能在物体边界与重叠区域引入新的错误；整体架构也不便于端到端优化^[3]。串行执行两个子任务时，实例分割的结果完全依赖语义分割的输出，前者精度会随后者波动^[3]。

评价与难度层面也有约束。PQ 在交并比阈值取 0.25 与 0.5 时差别不大，但与 0.75 相比差距明显，阈值 0.5 更多是出于简单直观的选择，而非唯一合理设定^[8]。小目标较难被检出：人类标注结果中，小尺寸物体的识别质量明显下降，而一旦找到，其分割质量相对稳定^[12]。不同数据集之间的 PQ 数值不具备可比性，类别数量、标注像素比例与场景复杂度都会影响难度^[12]。

面向实际部署时，复杂场景下的适应性、实时性与子任务间的结果冲突仍是待解决的问题^[15]。使用全景相机时还会遇到额外困难：模型多在针孔图像上训练，而全景图存在强烈的几何畸变，模型对弯曲、拉伸后的目标结构感知不足，特征分布也与训练时不一致^[14]。

参见

• 语义分割 —— 为每个像素赋类别标签，但不区分同类个体的图像分割任务

• 实例分割 —— 逐个检测并勾勒可数物体的掩码，但不处理背景区域

• 全景质量 —— 全景分割的官方评价指标，由分割质量与识别质量相乘得到

• MS COCO —— 提供全景、实例与语义多种标注、常用于训练评测的公开数据集

• Cityscapes —— 面向城市街景与自动驾驶场景的图像分割数据集

• Transformer —— 近年统一式全景分割模型普遍采用的网络基础结构