组归一化
组归一化是深度神经网络中一种对特征进行归一化的方法，它把特征通道划分为若干组，在每一组内部计算均值和方差来完成归一化。与依赖批次统计量的批次归一化不同，组归一化的计算只涉及单个样本，因而不受批次大小影响，在小批次训练和显存受限的任务中表现稳定。该方法由 Yuxin Wu 与何恺明提出，发表于 2018 年的欧洲计算机视觉会议，可作为批次归一化的替代方案使用。
定义
组归一化（Group Normalization，简称 GN）是一种作用于神经网络层输出的特征归一化方法。它把通道维度的特征划分成若干个组，在每个组内部统计均值和方差，再用这些统计量把该组的激活值标准化。经过处理后的激活值还会乘以可学习的缩放系数并加上偏置，以补偿归一化造成的表达能力损失[1]。
在归一化方法的分类中，批次归一化（Batch Normalization，BN）、层归一化（Layer Normalization，LN）、实例归一化（Instance Normalization，IN）和组归一化通常被写在同一套公式框架下，它们的区别只在于计算均值和方差时所选取的像素集合不同[2]。组归一化的关键特征在于，这个集合不跨越批次维度，因此其行为与批次大小无关[3]。
原理
设某一层的输入特征张量按批次、通道、高、宽四个维度排列。组归一化先把通道轴分成 $G$ 个组，每组含 $C/G$ 个通道，要求通道数能被组数整除[4]。随后固定样本和组，把组内所有通道以及全部空间位置上的数值汇总起来求均值和方差，再用下式完成标准化：$\hat{x}_i=\frac{1}{\sigma_i}(x_i-\mu_i)$，其中 $\mu_i$ 与 $\sigma_i$ 由该组的集合 $\mathcal{S}_i$ 计算得出。
实际实现时可以分三步完成：先将形状为 (N, C, …) 的张量重排为 (N, G, C/G, …)，再沿组内通道和随后所有空间维度求统计量，最后还原形状并施加逐通道的仿射变换[5]。
组数的取值决定了统计范围。当组数为 1 时，全部通道共用一组统计量，其统计方式与层归一化接近；当组数等于通道数时，每个通道各自成组，统计方式与实例归一化等价；组数介于两者之间时，若干通道共享一组统计量[4]。因此组归一化可以视为层归一化与实例归一化之间的一种折中[5]。
由于统计过程不沿批次维度进行，改变同一批次中其他样本不会影响当前样本的输出，训练阶段与推理阶段的计算方式也保持一致。这意味着组归一化不需要维护用于推理的滑动均值与滑动方差，也不需要跨设备同步批次统计量[5]。
发展历程
在组归一化出现之前，批次归一化是深度神经网络训练中的常用手段，它按通道在批次维度上统计均值和方差[2]。但当批次很小时，由少量样本估计出的批次统计量不够准确，批次归一化的误差会迅速上升，这限制了它在训练大模型以及迁移到检测、分割、视频等受显存约束而必须使用小批次的任务中的应用[3]。
2018 年 9 月，Yuxin Wu 与何恺明在欧洲计算机视觉会议（ECCV）上发表论文，提出组归一化作为一种简洁的替代方案，该文收录于会议论文集第 3 至 19 页[3]。论文指出，通道之间并非彼此独立，早期的 SIFT、HOG 等特征本身就是分组构造的直方图表示，并常按组做归一化处理，这一思路被推广到深度网络中。
该方法提出后成为研究者考察归一化技术的基准之一，后续工作把它的性质与批次归一化、层归一化、实例归一化等一同分析，并在此基础上发展出分组白化等延伸方法[6][7]。
应用
组归一化主要用在计算机视觉任务中。在 ImageNet 上训练的 ResNet-50 中，批次大小为 2 时组归一化的误差比对应的批次归一化版本低 10.6%；在常用批次大小下，它的表现与批次归一化相当，并优于其他归一化变体[3]。
在 COCO 数据集的目标检测与分割任务以及 Kinetics 数据集的视频分类任务上，组归一化的结果优于基于批次归一化的对应方案，而且从预训练迁移到微调的过程较为自然[3]。有研究借助组归一化从零开始训练目标检测器而不损失精度，也有工作在语音与视频联合网络的训练中使用该方法，这类任务往往受小批次和长度不一的问题困扰。
在医学图像分析这类批次通常很小、图像分辨率又高的场景中，组归一化也被用于替换批次归一化，以提升训练与推理的稳定性[8]。主流的深度学习框架均提供了相应实现，例如 TensorFlow 的组归一化层默认组数为 32[4]。组归一化并不要求网络使用分组卷积，它是一种通用的层，可直接用于标准残差网络。
局限
组归一化引入了组数这一额外超参数。原论文通过实验尝试了取值为 1、2、4 等不同组数的情形，观察到组数为 1 和组数等于通道数两个极端时精度都偏低，并在组数取 32 时取得最高精度，从而将 32 推荐为默认取值[9]。但这一推荐值缺乏理论论证，也未考虑具体的网络结构，不同架构下可能存在更合适的取值，实际使用中往往需要反复试验来调节[9]。
组数对性能的影响存在两种相反的趋势。一方面，组数较大即每组通道较少时，不同输入产生的激活更容易保持差异，有利于优化；另一方面，组数过大时归一化施加的约束增强，模型的表达能力会受到限制，训练性能明显下降[6][7]。这种由组数决定的效率与稳定性之间的权衡，使得取值需要针对任务进行权衡[6]。
组归一化在统计范围上不利用批次信息，这既是它稳定性的来源，也构成一种限制。原论文的后续版本给出了大批量分布式训练的结果，指出这是组归一化的一个局限。此外，批次归一化在训练与推理间存在统计量不一致的问题，而组归一化的统计量始终来自当前样本，两者在行为上并不完全等同[5]。
参见
参考资料
- 归一化 | TensorFlow [引用日期2026-10-14]
- acm.org 上的网页 [引用日期2026-10-14]
- ECVA | European Computer Vision Association [引用日期2026-10-14]
- GroupNormalization [引用日期2026-10-14]
- Google Colab [引用日期2026-10-14]
- 2578eb9cdf020730f77793e8b58e165a-Supplemental(PDF) [引用日期2026-10-14]
- thecvf.com 上的 PDF 文件 [引用日期2026-10-14]
- s42979-025-04622-w [引用日期2026-10-14]
- S0925231223013401 [引用日期2026-10-14]