Train from Scratch

定义

从头训练指针对目标任务直接搭建模型，参数从随机分布中生成，而不载入任何预先在其他数据上学习到的权重，随后在有标注的目标数据上通过反向传播更新全部参数^[1]。这一过程中的权重初始值不是从外部文件读取的既有参数，而是按初始化方法现场生成的数值，因此训练起点是一个不具备任何任务知识的网络^[2]。在一些训练框架中，这种模式由显式开关控制，例如在配置里把对应选项设为True，就表示模型从全新初始状态起步且不加载权重^[4]。

它与先在大规模通用数据上预训练、再用少量任务数据调整参数的路线相对，二者的区别在于是否复用他人已学到的特征表示，而不是在于网络结构本身^[2]。

原理

从头训练遵循标准的有监督学习流程：数据经过分词或归一化等预处理后送入网络，前向计算得到预测，用损失函数衡量预测与标签的偏差，再通过梯度下降类优化器把误差回传到每一层并更新参数^[2]。由于起点无任何可利用的先验表征，网络需要同时学会从低级模式到任务目标的全部映射，训练往往要持续更多的轮次才能进入稳定下降阶段^[3]。

初始化方式和归一化方式对能否收敛影响很大。早期研究通过控制各层激活与梯度的方差来避免梯度消失，形成了按隐藏层维度设定方差的一类初始化方案^[5]。检测类任务的输入分辨率高，单卡可容纳的样本数偏少，批归一化统计量不稳定，因此实践中改用群组归一化或跨卡同步批归一化等替代方案^[3]。

从数据规模看，训练所需的表现与数据量并非简单的线性关系。何恺明等人在COCO上的对照实验显示，从随机初始化训练的模型需要更多的迭代次数才能收敛到与微调相近的解，而当训练图像减少到约1000张时，从零训练的模型出现明显过拟合^[6]。

发展历程

在预训练加微调成为主流之前，目标检测器本身就以无预训练方式训练，早期的人脸与行人检测工作均未使用额外预训练权重^[7]。随着R-CNN系列确立了「先预训练、后微调」的做法，业内逐渐形成了检测任务难以从零训练的普遍看法^[7]。

2017年，沈志强等人提出DSOD，给出了一组从零训练检测器的设计原则，其中密集的层间连接带来的深度监督被认为是关键因素；该方法在PASCAL VOC 2007、2012和MS COCO上优于SSD，参数量约为SSD的一半^[8]。同阶段的ScratchDet与DetNet、CornerNet等工作也报告了从零训练检测器的结果，但多数把重点放在为从头训练专门设计结构上^[7]。

2018年11月，何恺明、Ross Girshick与Piotr Dollár发表《Rethinking ImageNet Pre-training》，在不改动常规结构的前提下从随机初始化训练Mask R-CNN，在COCO上取得50.9 AP的检测成绩，与使用ImageNet预训练的COCO 2017竞赛结果相当^[3]。该工作指出ImageNet预训练主要加快训练前期的收敛，未必带来正则化效果或提升最终精度^[3]。

在视觉之外，从零训练也被用于大规模语言模型。2023年发布的OpenBA是一个150亿参数的中英双语非对称seq2seq模型，采用三阶段策略从零预训练，仅用3800亿个token即在一部分基准上取得有竞争力的成绩^[9]。2024年的FBI-LLM则演示了从零训练全二值化大语言模型，其作者在分析训练轨迹后认为预训练权重对这类模型并非必需。

视觉Transformer领域同样出现了相关尝试。T2T-ViT针对ViT在中型数据集上从零训练效果不及卷积网络的问题，引入逐层的token聚合与深窄主干，在ImageNet上从零训练时性能提升2.5%以上，参数与乘加运算量约为原版ViT的五分之一^[10]。

应用

从头训练的常见场景之一是数据与通用预训练数据差异较大的领域。遥感影像检测研究指出，通用预训练模型与遥感数据分布差别明显，因此构建了完全从零训练的SRS-Net框架，并在DIOR、DOTA和AS数据集上通过消融实验验证其性能可以接近甚至略优于基线方法^[11]。

当任务需要大幅改动网络结构时，从零训练也可以避开为改动后的结构重新做预训练的成本。DSOD的作者即以此为主要动机之一，指出沿用预训练分类网络权重会限制结构调整的空间，并可能引入分类与检测任务之间的学习偏差^[8]。

在模型规模与资源受限的条件下，从零训练也用于验证模型结构与训练方法本身的效果。有研究在小规模GPU上从零训练千万参数级语言模型以复现完整的预训练与后训练流程^[12]；也有工作把从零训练作为对照设置，与线性探测、微调等策略在同等数据划分下比较数据效率与收敛速度^[13]。

在强化学习的机器人运动控制中，策略网络通常由多层感知机参数化并随机初始化训练，而由于观测配置、任务与指令组合繁多，为所有下游任务预先训练单一模型并不现实，从零训练因此成为常规做法^[14]。

局限

从头训练最直接的代价是训练成本。相比复用已有权重，它需要更长的时间与更多的迭代轮次才能达到相近精度，标注数据也必须由使用者自行准备，数据成本随任务复杂度上升^[2]。在计算资源紧张或需要快速交付的场合，这种做法通常不具优势^[2]。

数据不足时其表现会明显退化。何恺明等人的实验显示，把COCO训练图像缩减到约10000张时从零训练仍可接近预训练方案的精度，但继续减少到约1000张便出现明显过拟合^[6]。对样本量有限的任务，缺少预训练表征的模型更容易在小数据集上失去泛化能力^[2]。

优化稳定性是另一项约束。随机初始化模型在训练前期收敛较慢且优化过程不如微调平稳^[13]。批归一化在高分辨率检测任务上因批大小受限而效果下降，需要改用群组归一化或同步批归一化，否则容易被误判为检测器无法从零训练^[3]。

此外，从头训练未必带来性能上限的提升。相关实验表明ImageNet预训练主要加快前期收敛，并不必然提供正则化或抬高最终精度；反过来说，从零训练也只是在数据充分时才能追平预训练方案，而非普遍优于后者^[3]。

参见

• 预训练 —— 先在大规模通用数据上学习参数、再用于具体任务的训练阶段，与从头训练构成对照。

• 微调 —— 在已有权重基础上用目标任务数据继续训练，是用以比较从头训练效果的主要方案。

• 迁移学习 —— 复用其他任务所学表征的思路，是预训练加微调路线的理论基础。

• 批归一化 —— 影响从零训练能否稳定收敛的归一化方法之一。

• 梯度消失 —— 深层网络从零训练时需要规避的优化问题。

• 随机初始化 —— 从头训练的起点，决定训练初期的激活与梯度尺度。