大语言模型

定义

大语言模型指参数数量极其庞大、训练数据规模极其可观的神经网络语言模型。狭义上，它指具备数十亿至万亿参数、以万亿级词元文本训练出来的深度神经网络；广义上，这一概念还涵盖同时处理文本、声音、图像和视频的多模态模型^[1]。与为单一任务准备标注数据的专用模型不同，这类模型以同一个模型适配多种任务，通用性是其受到关注的主要原因^[3]。

业界通常以百亿或千亿级参数量作为划分大语言模型与小模型的大致界线，并把模型规模跨过一定阈值后出现的理解指令、推理等能力称为涌现能力。词元（Token）是模型处理文本的最小单位，可能是一个汉字、一个单词或单词的一部分，上下文窗口长度与接口调用费用常以词元数计量^[4]。

原理

主流大语言模型建立在 Transformer 架构之上，其核心是自注意力机制。该机制让序列中的每个词元同时与序列内其他词元计算相关性权重，从而在并行计算的同时建模长距离依赖，取代了必须逐词顺序处理的循环神经网络。由于并行处理会丢失词序信息，模型还需借助位置编码标明词元的先后位置。

在生成阶段，模型先把输入文本切分为词元并映射为向量，经过多层由注意力和前馈网络组成的模块后，为词表中每个词元计算概率分布，选出下一个词元再追加到序列末尾，如此循环得到完整输出^[2]。以 GPT 系列为代表的自回归模型每次依据已生成的全部内容预测下一个词元，其训练目标可概括为最大化条件概率 $P(w_t \mid w_1, w_2, \dots, w_{t-1})$。

graph LR

A[输入文本] --> B[分词为词元]

B --> C[词向量与位置编码]

C --> D[多层自注意力与前馈网络]

D --> E[下一词元概率分布]

E --> F[选取词元并追加]

F --> D

训练通常分阶段进行。预训练以自监督方式在海量网页、书籍和代码上预测下一个词元，使模型获得语言规律与通用知识；随后用人工编写的问答数据进行指令微调，使模型学会遵循指令；再通过人类反馈强化学习，依据人类对回答的偏好训练奖励模型并优化输出风格^[2]。规模定律则描述了损失随参数量、数据量与计算量增长而下降的关系，其中 Chinchilla 研究提出计算量最优时每个参数约需 20 个词元的训练数据^[2]。

为控制推理成本，许多模型采用混合专家结构，由路由器为每个词元选择少数前馈专家参与计算。DeepSeek-V3 总参数量为 6710 亿，而每个词元实际激活的参数约为 370 亿^[2]。

发展历程

2017 年，谷歌的研究人员发表论文《Attention Is All You Need》，提出完全基于注意力机制的 Transformer 架构，为后续大规模语言模型奠定结构基础^[5]。2018 年 10 月，谷歌发布基于 Transformer 的 BERT，成为早期具有代表性的大规模语言模型之一^[3]。

2020 年 7 月，OpenAI 发布 GPT-3，参数量达 1750 亿，约为 BERT 的 500 倍以上，其超大参数规模带动了模型规模的快速扩张^[3]。GPT-3 在未针对具体任务训练的情况下，通过提示中的少量示例即可完成新任务，这种上下文学习能力受到广泛关注^[2]。

2022 年 11 月，OpenAI 推出 ChatGPT，使大语言模型进入大众视野^[2]。此后 GPT、Llama、PaLM 等模型系列相继推出，同时出现了开放权重模型与通过接口提供的闭源模型两类供给方式^[2]。MoE 架构、长上下文、推理模型等方向也在此后数年逐步展开，DeepSeek-R1 等推理模型以强化学习训练较长的推理过程^[2]。

应用

大语言模型最直接的应用是对话助手与文本处理，可用于回答问题、撰写和修改文章、摘要、翻译以及文档问答^[2]。在教育辅导、客服应答和专业知识咨询等场景中，它以自然语言交互的方式提供信息，降低了使用门槛^[3]。

在软件开发领域，模型可生成、解释和调试代码，并支持面向整个代码仓库的编辑与测试^[2]。通过函数调用与工具调用，模型还能规划多步任务、调用外部软件，构成所谓智能体的能力基础^[2]。

在专业领域，医疗、法律、金融等行业可在通用模型基础上用领域数据继续训练或微调，以适配专门术语与业务要求，例如面向日本医疗语境的专用模型即在基础模型上继续预训练与指令微调^[6]。为模型接入图像编码器后，还可扩展为能回答图片、图表和视频帧相关问题的视觉语言模型^[2]。

局限

幻觉是常被提及的问题。模型依据概率预测生成文本而非检索事实，可能在缺乏依据时给出看似合理却错误的答案，引入检索增强生成、先检索外部知识再作答是常见应对方式之一^[2]。

模型的知识受训练数据截止时间限制，无法自动获知训练之后发生的事件，也难以实时与外部环境交互，需要借助搜索、数据库或计算工具补充。上下文窗口虽然已从 GPT-3 的 2048 个词元扩展到部分模型的百万级词元，但一次可处理的文本量仍有上限^[2]。

训练与推理都需要大量算力，预训练成本高、周期长，大规模并发推理还受显存约束，量化、缓存优化与模型蒸馏是常用的缓解手段。此外，训练数据中的偏见可能被模型习得，输出也可能被诱导产生不当内容，安全对齐后仍存在残余风险，需要持续评估与防护。

从理论层面看，这类系统在实践中表现出色，但其内部机理仍未被充分解释，常被视为难以剖析的黑盒，相关理论研究尚处于起步阶段。

参见

• Transformer —— 大语言模型普遍采用的基础网络架构。

• 自注意力机制 —— Transformer 中用于建模词元间关联的核心机制。

• 词元 —— 模型处理文本的最小单位，也是计量上下文与费用的单位。

• 提示工程 —— 通过设计输入提示引导模型完成任务的实践方法。

• 检索增强生成 —— 结合外部知识检索以缓解幻觉的技术路线。

• 智能体 —— 以大语言模型为决策核心、可调用工具完成多步任务的应用形态。