自监督学习
定义
自监督学习是一类以无标注数据为输入、以数据自身部分信息作为预测目标的机器学习方法[1]。训练时把一条样本拆成「可见部分」与「需要预测的部分」，或把同一样本的不同变换版本配成正样本对，由模型去还原被遮住的内容或判断两者的对应关系，从而自动产生监督信号[1][4]。
由于其训练目标带有明确的输入与损失函数，训练循环与监督学习相似；但目标并非由人创建，数据来源又完全无标注，因此常被归入无监督学习的范畴，介于两者之间[1]。它与半监督学习也不同：半监督学习一开始就混用少量人工标签，而自监督预训练可以在完全没有标签的情况下完成，标签只在此后的微调阶段出现[1][5]。
原理
自监督学习的通用流程包括四步：先收集大规模无标注数据；再设计一个能从数据本身求得答案的前置任务（pretext task）；然后训练模型求解该任务并计算预测误差；最后把训练中得到的表示迁移到真正关心的下游任务上[1]。前置任务本身通常没有实用价值，其意义在于迫使模型学习语法、上下文、形状与模式等数据结构[1]。
按学习目标划分，常见做法可归为几类：实例判别、聚类与掩码预测[4]。掩码预测把输入的某些部分遮住，让模型依据未遮住的部分还原它们，代表是自然语言处理中的掩码语言模型（Masked Language Model）与视觉中的掩码自编码器[4][6]。自回归预测则依据前文预测下一个词元，是 GPT 系列采用的训练方式。
对比学习是判别式自监督学习的主流分支。它对同一样本施加两种数据增强得到两个视图，在特征空间中拉近同源视图、推远不同样本，典型损失函数为 InfoNCE 及其变体：
$\mathcal{L}=-\log\frac{\exp(\mathrm{sim}(z_i,z_j)/\tau)}{\sum_{k\neq i}\exp(\mathrm{sim}(z_i,z_k)/\tau)}$，其中 $z_i$、$z_j$ 为同一图像两个视图的投影特征，$\tau$ 为温度系数[7][8]。
flowchart LR
A[无标注数据] --> B[构造前置任务]
B --> C[训练编码器]
C --> D[通用表示]
D --> E[下游任务微调或线性探测]
这类目标存在退化解风险：若只要求同源视图一致，模型可能把所有输入映射为同一个常量向量，即表示坍塌[4][9]。常见对策包括引入负样本、维护动量编码器、使用非对称的在线网络与目标网络、约束嵌入各维方差与协方差，或采用停止梯度等手段[4][10]。
发展历程
自编码器一类通过重构输入来学习低维表示的结构，被视为自监督思想的早期形态；其变体去噪自编码器在输入端加噪、要求还原原始输入，被认为与掩码建模的思路相通。
2018 年，谷歌发布 BERT，以掩码语言模型在大规模无标注文本上预训练，随后用少量标注数据微调，此后「预训练加微调」逐渐成为自然语言处理的常规流程[3]。同期及之后的 GPT 系列则延续自回归式的自监督目标；到 GPT-3，参数规模达到 1750 亿，并表现出无需改动参数、仅凭提示即可适应任务的能力[3]。
在计算机视觉领域，对比学习在 2019 年至 2020 年前后集中取得进展。MoCo 用队列保存的负样本配合动量更新的编码器，缓解了负样本数量受批次大小限制的问题；SimCLR 则系统考察了数据增强组合，并用大批次内的负样本完成对比训练[11][8]。此后又出现了不依赖负样本的 BYOL、基于自蒸馏的 DINO、以互相关矩阵为目标的 Barlow Twins 等路线[11][7]。
2021 年出现的 CLIP 把对比学习扩展到图文对：用海量网络图文配对做跨模态对齐，使模型具备零样本识别能力，也推动预训练从纯自监督向大规模弱监督延伸[12]。近年 DINOv2、DINOv3 等方法进一步把自蒸馏与掩码预测结合，并扩大数据与模型规模[12]。
应用
自然语言处理是自监督学习最早大规模见效的领域。掩码语言模型与自回归语言模型在海量文本上预训练后，只需少量标注即可适配情感分析、问答、文本分类等任务。这类预训练模型也被用作大语言模型的基础，并以提示方式完成多种任务[3]。
在视觉任务中，自监督预训练得到的骨干网络可用于图像分类、目标检测与检索，其冻结特征接线性分类器即可作为较强的基线[7][12]。医学影像领域标注成本高，常先用大量无标注影像做自监督预训练，再用少量标注样本微调，用于病灶检测与诊断[5]。
自动驾驶每天产生大量视频数据，逐帧标注难以承受，自监督方法可从原始视频中学习时序动态与空间理解，用于车道检测与障碍物规避等任务[5]。此外，自监督目标还被用于语音、脑电等时间序列以及多模态图文数据的表示学习[4][10]。
自监督学习也常与半监督学习结合：在同一特征提取网络上同时挂接分类损失与自监督损失，使无标注样本也能参与训练，从而改善模型在无标签数据上的泛化表现[13]。
局限
自监督预训练通常比纯监督训练消耗更多资源。由于依赖海量数据与更大参数量的模型，训练所需算力与时间显著增加；在同等条件下，自监督模型的精度也可能低于充分标注数据训练出的监督模型[14]。
对比学习对批次规模与训练时长较为敏感。SimCLR、MoCo-v3、Barlow Twins、VICReg 等方法往往需要在数千量级的批次下才能达到较好效果，多裁剪增强还会进一步抬高开销，这对缺少高端算力的研究机构构成门槛[15]。数据的构造同样影响结果：增强过强可能破坏关键信息而形成假正样本，批次内也可能混入本属同类却被当作负样本的假负样本[2][16]。
前置任务设计与数据特性不匹配时，模型可能学到与下游任务无关的捷径特征。例如在候选数量受限的对比训练中，颜色分布这类容易区分的线索就足以完成匹配，却难以迁移到目标分类任务[17]。如何避免表示坍塌、提升计算效率、增强对分布变化的鲁棒性，仍是该方法持续面对的问题[15]。
理论层面，对比学习在大规模实际应用不断扩展的同时，其泛化行为与噪声敏感性的系统解释仍不充分；有综述也指出该领域仍需提升数学可解释性[18][2]。
参见
参考资料
- 自监督学习：模型如何在没有标签的情况下学习 [引用日期2026-10-29]
- 基于增强数据对比的自监督学习综述-河南理工大学出版中心 [引用日期2026-10-29]
- 並列処理もしやすく、複数の言語現象を効率よく扱えて、文章中の長距離の依存関係も考慮しやすいといっ [引用日期2026-10-29]
- keywords [引用日期2026-10-29]
- self-supervised-learning [引用日期2026-10-29]
- 《解锁自监督学习：元应用数据标注难题》 [引用日期2026-10-29]
- 05-self-supervised-and-foundation-backbones [引用日期2026-10-29]
- Apprentissage continu de représentations visuelles [引用日期2026-10-29]
- j.issn.1001-506X.2026.09.35(PDF) [引用日期2026-10-29]
- issn1000-1239.202550351(PDF) [引用日期2026-10-29]
- LeCun联手博士后arxiv发文，遭reddit网友质疑：第一张图就错了 [引用日期2026-10-29]
- 2025GöksuPhD(PDF) [引用日期2026-10-29]
- CN112686305A(PDF) [引用日期2026-10-29]
- CN113947196A(PDF) [引用日期2026-10-29]
- obspm.fr 上的网页 [引用日期2026-10-29]
- similar [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]