Meta Llama 3

定义

Meta Llama 3是Meta推出的一系列基于Transformer架构的纯解码器大语言模型，属于Llama家族第三代，按参数量分为8B、70B等版本，每个版本又分为预训练基座模型与经过指令微调的对话模型^[4][5]。模型权重的可下载是这一系列的主要特征，开发者可以获取相关参数并自行部署或微调^[5]。

“Meta Llama 3”是模型系列的正式名称，Llama 3为其常用简称^[6]。需要区分的是，权重开放并不等于训练数据公开，框架与参数可供下载，但完整复现模型所需的训练数据集等细节并未一并披露^[4]。

原理

Llama 3延续了仅含解码器的Transformer结构，根据前文逐词预测下一个token，不设独立的编码器，因此在文本生成任务上计算路径较短^[5]。与上一代相比，最直观的改动是分词器：词表规模从约3.2万扩展到12.8万，编码同样的文本所需token更少，官方测算可减少最多约15%，从而在推理时降低开销^[2]。

在注意力机制上，8B和70B两个规模都采用了分组查询注意力(Grouped Query Attention)，即多个查询头共享同一组键值头，以缩小推理时的键值缓存，提升长序列处理效率^[2][7]。训练时模型处理最长8192个token的序列，并用掩码确保自注意力不跨越文档边界，以免不同文档内容相互干扰^[7]。

预训练数据经过启发式规则过滤、不良内容(NSFW)过滤、语义去重与文本质量分类器等流程处理，其中质量分类器的训练数据由上一代Llama 2生成^[8]。指令微调阶段则组合了监督微调、拒绝采样、近端策略优化(PPO)与直接偏好优化(DPO)等方法。

预训练在规模上的表现可用扩展法则描述。定义损失 $L(N,D)$ 随参数量 $N$ 与训练token数 $D$ 变化，Meta的观察是：在8B模型上，据Chinchilla法则推算的约2000亿token并非最优终点，训练量继续增加两个数量级后性能仍在提升，直至15万亿token时，8B与70B模型的损失仍呈对数线性下降^[2]。训练侧结合数据并行、模型并行与流水并行，在16384块GPU上运行时单卡算力利用率可超过400 TFLOPS^[2]。

flowchart LR

A[公开语料] --> B[过滤与去重]

B --> C[预训练 15T token]

C --> D[基座模型 8B/70B]

D --> E[监督微调与偏好优化]

E --> F[指令微调模型]

发展历程

Llama系列的早期版本为Llama与Llama 2，后者于2023年7月发布，最大版本为700亿参数，预训练使用约2万亿token^[5]。Llama 3在此基础上升级，2024年4月18日由Meta正式公布，首批开放8B与70B两个规模^[3][1]。

发布同期，Meta将Llama 3接入自家助手Meta AI，并宣布模型在亚马逊云科技、微软Azure、谷歌云等云平台以及Hugging Face等模型社区上线，同时获得英伟达、AMD、英特尔、戴尔、高通等硬件厂商的支持^[8]。训练所用算力来自两个定制集群，英伟达称合计使用超过2.4万块H100芯片。

Meta在发布时说明，参数规模超过4000亿的版本仍在训练，并计划在随后数月推出支持多模态、多语言对话与更长上下文窗口的模型^[2][3]。2024年7月，参数量4050亿的Llama 3.1 405B公开，同时升级了8B与70B版本，上下文窗口扩展到12.8万token^[9]。

应用

最直接的落地场景是Meta自有产品中的对话助手Meta AI，其回答由Llama 3驱动，并接入Facebook、Instagram、WhatsApp与Messenger等应用^[4][8]。

在开发者一侧，模型可用于搭建客服聊天机器人、创意内容生成、信息抽取与文档摘要等任务，也可在通用基座上再做微调，用于特定领域^[5][4]。发布时一并提供的还有配套工具，如用于输入输出安全分类的Llama Guard 2、面向代码安全的Code Shield，以及网络安全评测套件CyberSecEval 2^[4][8]。

硬件与平台生态的适配范围较广，模型可在云服务、边缘计算、个人电脑等环境部署，并支持在消费级硬件上运行较小规模版本^[5]。

局限

首批8B与70B版本的上下文窗口只有8192个token，与同期部分竞品数十万token的窗口相比差距明显，发布后这一点被较多讨论，Meta表示后续版本会扩展窗口长度^[10][4]。

多语言方面，预训练语料中非英语内容占比超过5%、覆盖30多种语言，但Meta明确表示，这些语种的性能预期不会与英语持平^[7]。首批发布的模型仅处理文本，图像、视频与语音不在支持范围内，多模态能力被列为后续计划^[9][2]。

模型卡也指出，现有测试以英语为主，无法覆盖全部使用场景，生成的输出可能不准确、带有偏见或存在其他不当内容，部署方需针对自身应用做安全测试与调优^[6]。在架构选择上，该系列采用密集模型而非混合专家结构，参数量增大后推理成本相应上升，这一点在发布时也被提出作为待观察的问题^[11]。

参见

• Llama 2 —— 同属Llama系列的前一代模型，是Llama 3的主要对照基线。

• Transformer —— Llama 3所采用的解码器式网络结构的基础。

• 分组查询注意力 —— 8B与70B版本均使用的注意力变体，用于降低推理开销。

• 扩展法则 —— 解释训练数据规模与模型性能关系的经验规律，影响了Llama 3的预训练决策。

• 基于人类反馈的强化学习 —— 指令微调中偏好优化方法所属的技术路线。

• Meta —— Llama 3的开发与发布机构。