CSPNet

定义

CSPNet 是一种卷积神经网络骨干结构,名称意为跨阶段局部网络,其中的“跨阶段”指特征图以跨越网络阶段的方式传递与融合,“局部”指一个阶段内的特征图只有一部分进入密集连接或残差运算。^[4]论文标题将其定位为一种能够提升卷积神经网络学习能力的新骨干网络,作者认为此前的先进网络在推理阶段需要沉重的计算开销,并提出从网络结构而非训练技巧的角度加以缓解。^[5]

它与具体网络架构相绑定,可以套用在 ResNet、ResNeXt 和 DenseNet 一类已有骨干之上,分别形成 CSPResNet、CSPResNeXt 与 CSPDenseNet 等变体,因此常被视作一种可移植的设计思路,而不是某个固定模型。^[3]

原理

论文把计算量过大的原因归结为网络优化中重复的梯度信息。以 DenseNet 为例,每个密集层的输出都会与之前所有层的输入拼接,反向传播时同一份梯度信息会被多个密集层的权重更新反复使用,导致不同层重复学习已复制的梯度。^[1]

CSPNet 的应对办法是切分与合并。设某阶段基础层的特征图为 $x_0$,按通道将其分为 $x_0'$ 与 $x_0''$ 两部分,前者不经密集块、直接连到阶段末端;后者依次经过部分密集块和部分过渡层得到结果,再与前一部分拼接后送入下一个阶段。这样来自密集层的梯度与来自直连分支的梯度各自整合,两侧都不包含属于对方的重复梯度信息。^[1]

flowchart LR

A[基础层特征图 x0] --> B{按通道拆分}

B --> C[x0 直连分支]

B --> D[部分密集块]

D --> E[过渡层]

C --> F[拼接合并]

E --> F

F --> G[下一阶段]

作者总结该设计带来三点效果:拆合策略使梯度路径数量加倍;参与密集运算的通道约为原来的一半,能够缓解计算瓶颈并使各层计算更均衡;部分密集块最多可节省一半的内存访问量。^[1]在基于 YOLOv3 的目标检测实验中,作者称该方法可降低 80% 的计算瓶颈,配合跨通道池化生成特征金字塔时可将 PeleeNet 的内存占用削减 75%。^[6]

发展历程

2019 年 11 月 27 日,论文《CSPNet: A New Backbone that can Enhance Learning Capability of CNN》提交至 arXiv,编号为 arXiv:1911.11929,作者为 Chien-Yao Wang、Hong-Yuan Mark Liao、Yueh-Hua Wu、Ping-Yang Chen、Jun-Wei Hsieh 与 I-Hau Yeh。^[2]

2020 年 6 月,该文在 IEEE/CVF 计算机视觉与模式识别会议研讨会(CVPRW)发表,收录于会议论文集第 390 至 391 页;论文于同年 7 月被 IEEE Xplore 收录。^[3][5]

此后该结构随 YOLOv4 的流行而广泛传播。YOLOv4 将 CSPNet 的结构引入 Darknet53,形成 CSPDarknet53 骨干,这一组合被后续多个目标检测与图像分割研究沿用。^[7]YOLOv5 继续借鉴该思路,与瓶颈结构结合构成 BottleneckCSP 模块。^[8]原作者团队随后又在 Scaled-YOLOv4 中讨论基于 CSP 的结构缩放策略,使同一方法可向大型与微型网络两个方向调整。^[9]

应用

CSPNet 最初面向图像分类与目标检测验证。作者报告在 ImageNet 数据集上以相当甚至更优的准确率减少 20% 运算量,在 MS COCO 检测数据集上的 AP50 指标明显优于当时的主流方法;在 GTX 1080Ti 上可实现 109 fps 下 50% 的 COCO AP50,在 Intel Core i9-9900K 上以 52 fps 达到 40%,在 Nvidia Jetson TX2 上以 49 fps 达到 42%。^[3][6]

在工程实现层面,CSPNet 被主流开源模型库收录,例如 OpenMMLab 的模型库提供了 CSPDarkNet50、CSPResNet50 等预训练模型,在 ImageNet-1k 上报告的 Top-1 准确率分别约为 80.05% 与 79.55%。^[10]

除通用目标检测外,该结构也被用于各类专门任务。有研究将其引入遥感图像锐化方法的主干网络,以缓解梯度冗余、改善融合图像的空间与光谱分辨率;也有研究把 CSPNet 用于改进 YOLO v4 的特征网络,在落叶松毛虫虫害树木的无人机实时检测中降低训练内存占用。^[11][12]

局限

CSPNet 的收益依赖具体骨干与任务,论文给出的 20% 计算量下降是在 ImageNet 分类设置下测得的结果,并不保证在其他数据集或检测配置中取得同样幅度的节省。^[3]

作为骨干层的改造方案,它改变的是特征提取部分的通道组织与梯度路径,并不直接处理检测头、特征融合等环节的效率问题。有研究指出,YOLOv4 中的 CSPDarknet53 由 5 个 CSP 模块、共 76 个标准卷积块组成,特征图每经过一个 CSP 模块维度减半、通道数加倍,整体计算量仍然偏大,推理时间较长,因此需要以 MobileNet 之类的轻量网络替换特征提取层来进一步提速。^[13]

此外,该方法的有效性依循的是对重复梯度信息成因的实验性判断,作者通过实验观察而非理论证明来论证其降低计算量的机制,因而在超出 ResNet、ResNeXt、DenseNet 系列结构的网络上表现如何,仍需逐案验证。^[5]

参见

• DenseNet —— CSPNet 最初以 DenseNet 为对象说明重复梯度问题,并据此提出 CSPDenseNet。

• ResNet —— CSPNet 可作用于残差结构,形成 CSPResNet 等变体。

• YOLOv4 —— 采用 CSPDarknet53 作为骨干的目标检测模型,使该方法得到广泛应用。

• 计算机视觉 —— CSPNet 面向的图像分类与目标检测任务所属的学科领域。

• 卷积神经网络 —— CSPNet 所属的网络类型,其设计目标是提升该网络的学习能力。