基础模型

定义

基础模型指在广泛数据上以较大规模训练、并能适配到多种下游任务的一类模型，其训练方式与具体任务无关^[1]。与只服务单一任务的传统机器学习模型不同，它本身并不完整，需要经适配才能用于具体应用^[3]。

该术语由斯坦福大学基础模型研究中心（CRFM）在 2021 年 8 月发布的报告中提出，报告同时以 BERT、DALL-E、GPT-3 等模型作为该类别的代表^[1]。研究者在报告中说明，选用「foundation」是强调这类模型扮演的角色：先建好的底座，本身尚未完工，需后续建造才有用^[3]。

中文语境中，「基座模型」「基础大模型」「根基模型」等说法与基础模型大体对应，其中基座模型一词常用来指经预训练、可作为各种下游模型起点的通用模型。从范围上看，基础模型是大语言模型的严格超集，图像、代码、蛋白质、语音、分子以及多模态模型都可归入其中^[3]。

原理

基础模型的产出过程以预训练为核心：在规模庞大、基本不带标签的语料上，用一种能自行提供监督信号的目标函数进行训练，例如预测被遮挡或下一个词元、重建被破坏的图像，或通过对比损失对齐成对的文本与图片^[2]。2017 年提出的 Transformer 架构是常用的主干结构，因为自注意力便于在加速器上并行计算，并随参数与数据规模可预测地扩展^[2]。

以自回归语言建模为例，预训练可写成在给定前文时最大化下一个词元的对数似然：$\theta^* = \arg\max_{\theta} \sum_t \log p_\theta(x_{t+1} \mid x_{1:t})$，所得参数即构成可供后续适配的通用起点^[4]。

适配环节是把通用模型变为专用系统的关键，常见路径包括全参数微调、只训练少量新增权重的参数高效微调（如低秩适配 LoRA）、以示例和指令进行上下文学习，以及检索增强生成^[2][4]。指令微调与基于人类反馈的强化学习则用于让输出风格与人类期望对齐，而不针对某一具体任务^[2]。

研究者用「涌现」和「同质化」概括这类模型的两个特性：前者的意思是上下文学习等能力随规模扩大而出现，并非设计时写入；后者指少数基础模型支撑起大量实际部署的系统，因此其优点和缺陷都会沿着下游传导^[2]。计算量、数据规模与损失之间存在的可预测关系，使开发者能在正式训练前估算模型质量，也因此算力预算常成为性能上限的决定因素^[2]。

发展历程

预训练加微调的思路先在其他领域成型。受计算机视觉领域用大规模图像数据先训练、再针对任务精调的范式影响，自然语言处理也转向预训练语言模型，Transformer 架构于 2017 年提出后成为主流算法基础^[5]。2018 年，双向编码器模型 BERT 与生成式预训练模型 GPT 相继发布，参数量分别达到上亿级别^[5]。

2021 年，斯坦福大学基础模型研究中心在报告中正式提出「基础模型」这一名称，把它界定为在广泛数据上大规模训练、可适配众多下游任务的模型类别，并系统梳理了其能力、技术原理、应用与社会影响^[1]。该中心于同年 8 月举办了相关工作坊，用「在原始数据上训练、可适配广泛任务的单一模型」来描述这一对象^[6]。

此后模型规模继续扩张。有科普资料以 BERT 与 GPT-4 作对比说明这一趋势，并提到按相关数据，自 2012 年以来此类建模所需算力约每 3.4 个月翻一番^[7]。中国信息通信研究院的报告则从工程侧记录了这一阶段：千亿级参数模型的预训练需数千至上万块 GPU 并行运算，处理千亿至万亿级词元数据，耗时数周至数月，占全部算力消耗的 90% 至 99%^[8]。

规模扩张的同时，基础模型也从语言扩展到其他数据类型。在图像与文本对上海量预训练的视觉模型可支持开放词汇的分类与分割，语音模型可用单一权重完成跨语言转写与翻译，科学领域的变体则被用于蛋白质序列、气象场、医学影像与材料数据^[2]。这些领域模型的预训练语料往往是结构化的测量档案，而非网页文本^[2]。

应用

基础模型的应用集中在需要通用语言与感知能力的场景，包括对话助手与代码生成工具、文档检索与摘要系统、医学影像分析与临床文本处理^[2]。在科学研究中，同类方法被用于蛋白质结构预测与分子设计，以及天气和气候的模拟^[2]。机器人感知与视觉—语言—动作控制也是其应用方向之一^[2]。

在产业实践中，基础模型常被作为「底座」，其上再构建面向具体行业的模型。中国信通院梳理的案例显示，运营商与云服务商在万卡级集群上训练通用基础大模型，地方智算中心则以较小规模算力承接行业模型的微调，使企业无需从头搭建底层模型即可用自有业务数据做迁移学习或微调^[8]。

国内的通用基础模型包括多家机构与企业的产品，例如清华大学的 GLM 系列、百度的文心一言、阿里云的通义千问以及百川智能的 Baichuan 系列，这些模型在发布后陆续被用于下游任务与行业应用^[9]。华为的盘古视觉模型、商汤科技与上海人工智能实验室联合发布的书生 2.5 中的视觉基础模型 InternImage，同样属于可用少量场景数据微调后投入具体任务的类型^[9]。

局限

基础模型虽然基于成熟的深度学习与迁移学习，但其规模带来新的涌现能力，也带来认知上的空白。提出该术语的报告指出，由于这些涌现特性，目前尚不清楚这类模型如何工作、何时失效以及究竟具备哪些能力^[1]。同质化则意味着基础模型自身的缺陷会被所有经适配得到的下游模型继承，报告将其视为需要谨慎对待的问题^[1]。

评测也因「一模多用」而变得困难。用一个基准衡量模型，难以说明其在实际部署中的表现，因此评估需覆盖能力测试、针对误用的红队测试、跨人群的偏见与公平性测量，以及训练数据来源的记录^[2]。相关研究还发现，当市场上的多个系统依赖同一批数据与同一批基础模型时，会出现部分用户在所有系统中都得到同样负面结果的情形，即结果的同质化。

另一类局限与成本和参与门槛有关。研究者在回顾报告时指出，基础模型的开发总体上由少数资源充足的机构主导，未能充分以人为中心，数据由人产生、模型由人适配、应用由人使用，这种不均衡值得关注^[3]。报告也强调，基础模型只是人工智能系统的一个组成部分，并非人工智能的基础本身^[3]。

在具体模态上，机器人基础模型面临特殊困难。研究指出，与语言和视觉相比，为机器人获取规模相当的训练数据要困难得多，闭环学习控制的特性也使仅靠扩大数据量未必足够^[1]。此外，基础模型的语言系统主要由训练数据决定，相对静态，与人通过社会互动不断调整语言的方式不同^[10]。

参见

• 大语言模型 —— 基础模型中最受关注的一类，以大规模文本语料训练的语言模型。

• Transformer —— 常作为基础模型主干的自注意力网络架构。

• 迁移学习 —— 预训练加适配范式的理论来源之一。

• 自监督学习 —— 基础模型预训练阶段常用的训练方式。

• 微调 —— 将基础模型适配到具体下游任务的常见手段。