迁移学习

定义

迁移学习把学习问题拆成领域与任务两部分。领域由特征空间与边缘概率分布构成，记为 $D=\{X,P(X)\}$；任务由标签空间与目标预测函数构成，记为 $T=\{Y,f(\cdot)\}$，其中预测函数可写成 $P(y|x)$^[1][4]。

按潘思诺与杨强在综述中的表述，给定源领域 $D_S$ 及其任务 $T_S$、目标领域 $D_T$ 及其任务 $T_T$，迁移学习是借助 $D_S$ 与 $T_S$ 中的知识来改进 $D_T$ 中目标预测函数 $f_T(\cdot)$ 的学习过程，其前提是 $D_S \neq D_T$ 或 $T_S \neq T_T$^[1][5]。

当两个任务相同而只有分布不同时，该情形称为领域自适应，属于迁移学习的一个特殊子类^[6]。它与多任务学习不同：多任务学习同时学习全部任务并对所有任务同等对待，迁移学习则更关注目标任务的表现，源任务与目标任务的地位并不对称^[1][7]。

原理

按迁移内容的层次，常见做法可分为基于实例、基于特征、基于参数与基于关系知识 4 类^[1][8]。基于实例的方法假定源领域部分样本可复用，通过对源样本加权来逼近期望风险；基于特征的方法寻找一个共同表示空间，使源领域与目标领域的分布差异变小；基于参数的方法假定相关任务共享某些参数或超先验，用源模型参数初始化或约束目标模型；基于关系知识的方法则迁移数据间的关系统结构^[1][9]。

基于实例的做法可以写成加权经验风险最小化：$\min_f \frac{1}{n_S}\sum_{i=1}^{n_S}\beta_i L(f(x_i^S),y_i^S)+\Omega(f)$，其中权重 $\beta_i=P_T(x_i)/P_S(x_i)$ 用于修正源领域与目标领域的边缘分布差异，$\Omega(f)$ 为结构风险项^[6]。衡量分布差异时常用最大均值差异等度量，迁移成分分析等方法的做法是把两个领域的数据映射到潜空间，在降低领域差异的同时保留原数据结构^[4]。

在深度模型上，两种做法最常用：一是把预训练模型当作特征提取器，冻结其参数并只训练下游模型；二是微调，即用源领域训练得到的权重初始化目标模型，再用目标领域数据继续更新参数^[8]。另一种思路是领域对抗训练，让特征提取器学习到领域分类器无法分辨来源的特征，即领域不变特征^[10]。

对参数量很大的模型，参数高效微调只更新少量参数或插入轻量模块，例如适配器、提示微调与低秩适应（LoRA）。低秩适应把权重更新量 $\Delta W$ 分解为两个低秩矩阵之积 $\Delta W = BA$，从而大幅减少可训练参数^[9]。

按源领域与目标领域的关系，还可区分同构迁移学习与异构迁移学习：前者两个领域特征空间相同，后者特征空间不同^[9]。按标注数据情况，可分为归纳迁移学习、直推式迁移学习与无监督迁移学习：归纳迁移学习源、目标任务不同且目标任务有少量标注；直推式迁移学习领域不同而任务相同；无监督迁移学习则两个领域都没有标注数据^[1][9]。

发展历程

2005 年，美国国防高级研究计划局（DARPA）信息处理技术办公室在广泛机构公告 BAA 05-29 中提出迁移学习的任务，将其界定为系统把此前任务中学到的知识与技能用于新任务的能力，并区分出源任务与目标任务^[1][11]。该公告同时要求建立评估框架，使每种技术至少在 3 个不同领域中得到验证^[12]。

2010 年，潘思诺与杨强在国际电气与电子工程师协会《知识与数据工程汇刊》发表迁移学习综述，给出领域、任务与迁移学习的统一定义，并按归纳、直推、无监督等情形分类，还讨论了它与领域自适应、多任务学习、样本选择偏差、协变量偏移的关系^[1][13]。该综述此后被广泛引用，成为迁移学习研究的常见参考框架。

2016 年，韦斯等人发表迁移学习综述，提出依据领域相似程度划分的更灵活的归类方式^[5]。2020 年前后，庄福振等人的综合综述把方法归纳为基于数据与基于模型两大类，其中基于数据一类吸收了基于实例与基于特征的做法^[6]。

随着模型规模增大，资源受限条件下的适配成为新的研究方向。2024 年，《计算机学报》刊出资源受限条件下大模型高效迁移学习算法的中文综述，把技术路线归纳为修改模型结构、调整预训练参数、调整原始输入输出、注入自适应参数、引入自适应模块 5 类^[3]。

应用

在计算机视觉与自然语言处理中，迁移学习的基本形态是先在大规模数据上预训练，再迁移到下游任务^[3]。图像领域常从 ImageNet 等自然图像数据集迁移到医学影像任务，文献计量显示医学影像的迁移学习论文数量自 2015 年起持续上升^[8]。

医学诊断与脑机接口中，源领域与目标领域的数据常因设备、光照或受试者个体差异而分布不一致，迁移学习用于在标注样本有限时提升目标领域表现^[3]。自主驾驶、遥感影像分析、故障诊断与推荐广告等场景也有应用^[7][14]。

跨语言、跨主题的文本任务也是常见场景。例如源领域为英文评论、目标领域为阿拉伯文评论时，两个领域的特征空间并不相同，属于异构迁移学习；而两个领域讨论不同主题但特征空间一致、仅边缘分布不同，则属于领域自适应^[4]。

局限

迁移学习并不总能带来提升。当源领域与目标领域不够相似时，迁移来的知识会损害目标任务的表现，这一现象称为负迁移^[2][15]。有研究把负迁移条件形式化为迁移后算法在目标领域的风险高于不使用源数据的同一算法，并指出源、目标联合分布的差异是根本原因^[6]。

另一个问题是灾难性遗忘：模型在学习新任务后，会遗忘此前任务上已获得的知识，导致旧任务性能下降^[9]。微调时若目标数据很少而学习率或迭代次数设置不当，也可能出现过拟合^[8]。

此外，很多迁移方法需要一定规模的目标领域数据或对其分布有所了解，若目标领域数据完全不可得，则属于领域泛化问题，难度更高^[16]。预训练模型本身通常需要大量数据与算力，在可穿戴设备、军事、医疗等资源受限场景下难以直接使用^[3]。迁移后模型的可解释性有限，转移来的知识如何影响决策也不易说明^[9]。

参见

• 领域自适应 —— 任务相同而数据分布不同的迁移学习子类，是迁移学习中使用最广的一类情形。

• 多任务学习 —— 与迁移学习同属知识共享范式，但同时学习全部任务并对它们同等对待。

• 预训练 —— 迁移学习在深度模型上的常见起点，为下游任务提供基础参数或特征。

• 微调 —— 用目标领域数据继续更新预训练模型参数的迁移手段。

• 元学习 —— 同样按源任务、目标任务的顺序训练，区别在于通过外层优化获取先验。

• 负迁移 —— 源领域知识与目标领域不匹配时导致目标性能下降的现象。