YOLOv7

定义

YOLOv7属于YOLO系列的单阶段目标检测器,任务是从图像中同时给出目标的类别与边界框位置,并在一次前向计算中完成全部预测。模型结构沿用该系列的输入、主干网络、颈部网络与检测头四段式划分,主干部分由卷积单元、E-ELAN结构与MP-1模块组成,负责逐级降采样并提取语义信息^[2]。按官方仓库公布的测试结果,基础版YOLOv7在640像素输入下于COCO数据集取得51.4%的平均精度,批大小为1时速度约161帧每秒。

除标准检测任务外,官方代码库还提供实例分割与人体姿态估计的分支,YOLOv7-seg在640像素输入下的框平均精度为51.4%,掩码平均精度为41.5%。这些分支共用同一套主干与颈部设计,便于在同一工程中复用训练与部署流程。

原理

模型的骨干网络采用扩展高效层聚合网络(Extended Efficient Layer Aggregation Network,E-ELAN)。该结构在ELAN的基础上用分组卷积、扩张模块与特征混洗来聚合特征,通过控制网络中最短与最长的梯度路径,使模型在不破坏原有梯度通路的前提下学到更丰富的特征。颈部网络使用PAFPN结构融合主干输出的多层特征图,检测头则输出大、中、小三种尺度的预测结果^[2]。

论文把主要贡献概括为可训练的"免费赠品"(trainable bag-of-freebies),即只在训练环节增加成本、推理环节不增加开销的若干方法。其中一项是计划性重参数化:训练时使用多分支卷积,推理前把分支权重合并进单一卷积核,从而压缩参数量与计算量。另一项是带头与辅助头的深度监督,以及从粗到细的引导式标签分配,用于解决动态标签分配在多输出层模型上如何分配目标的问题。

在模型缩放方面,研究者针对基于拼接的网络分析了缩放因子,提出同时调整过渡层宽度与计算块深度的复合缩放策略,由此派生出YOLOv7-X、W6、E6、D6、E6E等不同体量的版本。训练所用的损失由三部分组成:置信度损失与分类损失采用交叉熵,边界框回归采用CIoU类损失,综合考虑预测框与真实框的中心点距离、长宽比和重叠面积^[2]。

推理阶段沿用该系列的后处理方式,对大量候选框执行非极大值抑制(Non-Maximum Suppression,NMS),保留得分最高且与已保留框重叠度低于阈值的预测框。官方仓库同时提供导出至ONNX与TensorRT并内嵌NMS的脚本,便于在GPU上以半精度部署。

发展历程

2022年7月6日,论文以预印本形式提交至arXiv,编号2207.02696,作者为中央研究院信息科学研究所的王建尧、Alexey Bochkovskiy与廖弘源^[1]。三人此前曾合作提出YOLOv4,本次工作在YOLOv4之后继续沿实时检测方向推进。论文与源代码同步公开,代码以GPL-3.0许可证发布^[3]。

论文摘要给出的对比数据显示,YOLOv7-E6在V100上以56帧每秒运行并取得55.9%平均精度,速度约为SWIN-L Cascade-Mask R-CNN的6倍,精度高出2个百分点;相对ConvNeXt-XL Cascade-Mask R-CNN,速度高出约5.5倍,精度高出0.7个百分点^[1]。与YOLOv4相比,新模型在平均精度提升1.5个百分点的同时,参数量减少约75%,计算量减少约36%;与YOLOR-CSP相比,参数量减少约43%,计算量减少约15%,平均精度提升0.4个百分点。

该成果随后被IEEE/CVF计算机视觉与模式识别会议(CVPR)2023接收,收录于会议论文集第7464至7475页,论文正式发表后成为实时检测领域被广泛引用的基线模型^[4]。此后学术界围绕它产生了大量改进工作,例如在主干中用PELAN替换ELAN以降低参数量、增设160×160的小目标检测层、以及在颈部引入注意力模块等^[5]。

应用

由于兼顾速度与精度,该模型被用于工业与基础设施的视觉检测。有研究以它为基座识别光纤总配线架端口的占用状态,改进后的模型mAP@0.5达到98.8%,比原版高2个百分点,用于替代人工巡检^[6]。也有工作将其用于管道焊缝表面小尺寸缺陷的检测,通过增加检测层与改用EIoU损失提升细小缺陷的召回^[2]。

在农业与环境监测中,该模型被改造用于自然场景下的幼果识别、茶园嫩芽分级以及河道漂浮物清理机器人的视觉感知^[7]。针对河道场景的一项改进在特定数据集上将平均精度提高到71.5%,比原版高4.7个百分点,同时参数量与计算量分别下降11%与7.3%^[5]。

遥感与无人机图像是另一类典型用途。研究者常在其基础上加入小目标检测层、注意力机制或更换损失函数,以应对目标尺寸小、背景复杂带来的漏检与误检问题^[8]。此外,该模型也作为学术研究的对照基线,用于与YOLOv8等后续模型比较精度与效率^[9]。

局限

对小目标的检测能力有限。主干网络逐层降采样后,浅层的细粒度信息容易丢失,原版只输出三种尺度的特征图,因此改进工作普遍需要额外增加160×160的高分辨率检测层,或引入注意力机制来弥补^[2]。在密集与遮挡场景中,相互重叠的目标会使被遮挡目标的预测得分被压低,从而出现漏检^[10]。

后处理依赖非极大值抑制,其阈值固定,在人群密集或物体高度重叠的画面中容易误删正确检测框,并带来延迟波动,对严格的实时性保障不利。同时,模型基于卷积架构,与后续出现的无锚框、免后处理检测器相比,在部署简洁性上处于劣势。

许可证方面,官方代码采用GPL-3.0,属于强著佐权条款。将其用于商业产品时,分发环节通常需要以同一许可证公开相应源码,无法开源的项目需另行取得授权^[3]。

训练成本较高也是论文自述的特点:可训练免费赠品与带头、辅助头的深度监督会增加训练开销,只是不增加推理成本。

参见

• YOLO —— 本模型所属的单阶段实时目标检测器系列,其命名与整体思路均沿袭自该系列。

• YOLOv8 —— 后续推出的同系列模型,常与本模型在精度和速度上作对比。

• 非极大值抑制 —— 本模型推理阶段用于剔除冗余候选框的后处理算法。

• 实例分割 —— 官方代码库在本模型基础上提供的像素级目标分割分支。

• MS COCO —— 本模型训练与评测所使用的主要公开数据集。