Meta Llama

定义

Meta Llama是Meta公司开发并发布的开放权重语言模型系列，名称最初取自“Large Language Model Meta AI”的首字母缩写，早期写作LLaMA，后续版本改用Llama的写法。它属于只含解码器的自回归Transformer模型，按参数规模划分为多个尺寸，并提供预训练版本与面向对话的指令微调版本。

这一系列的特点在于权重可下载与可二次训练。使用者获得权重后可以进行微调、量化或再分发，因此它被大量第三方项目用作基础模型。不过其分发协议由Meta自行制定，附有可接受使用政策等条款，而非通用的开源软件许可，因此是否属于“开源”在业界存在不同意见。

原理

Llama模型沿用Transformer解码器结构，即根据前文逐个预测下一个词元。相较早期GPT类模型，初代Llama采用了若干改动：把归一化放在每个子层之前并使用均方根归一化(RMSNorm)，前馈网络改用带门控的SwiGLU激活函数，位置信息则由旋转位置编码(RoPE)注入^[1]。这些选择在此后被许多开放权重模型沿用。

注意力机制的改进是另一条主线。Llama 2在700亿参数版本上首次引入分组查询注意力(GQA)，让多组查询头共享同一组键值头，从而压缩推理时的键值缓存开销；Llama 3则在两个尺寸上都使用了该机制^[2]。Llama 3还把分词器词表扩大到约12.8万词元，在同等计算量下可处理更多文本。

Llama 4的结构变化更大，首批两个模型改用混合专家(MoE)架构：每次推理只激活部分参数，由路由器把词元分派给不同“专家”子网络。Scout版本总参数1090亿、激活参数170亿，Maverick版本总参数4000亿、激活参数同为170亿^[3]。它们还采用早期融合方式把文本与图像词元放进同一模型训练，属于原生多模态设计。

训练流程一般分为预训练与后训练两个阶段。预训练在大规模语料上做下一词元预测；后训练包含监督微调与基于人类反馈的强化学习，用于让模型学会遵循指令并适合对话，Llama 2起正式提供这类对话版本^[4]。

发展历程

初代LLaMA于2023年2月24日公布，包含70亿、130亿、330亿和650亿参数四种规格，论文称全部模型至少经过1万亿词元训练，且只使用公开可得的数据集^[5]。当时模型以非商业研究许可定向提供给学术机构等申请者，并未公开发布权重。

2023年7月18日，Meta与微软合作发布Llama 2，提供70亿、130亿和700亿参数版本，上下文长度为4096词元，训练数据约2万亿词元，并允许在遵守使用政策的前提下商用，被视为开放权重模型扩散的转折点^[4]。2023年8月，面向代码场景的Code Llama从Llama 2微调而来，提供通用、Python专用和指令微调等变体。

2024年4月18日，Llama 3发布80亿和700亿两个版本，预训练语料超过15万亿词元，上下文8192词元。同年7月23日，Llama 3.1将规模扩展到4050亿参数，上下文提升至12.8万词元，并支持多语言与工具调用；据IBM的评测汇总，其指令微调版本在MMLU上得分87.3%，高于同期GPT-4 Turbo的86.5%^[6]。

2024年9月25日，Llama 3.2推出10亿和30亿的轻量文本模型，以及110亿和900亿的视觉语言模型，这是该系列首次公开多模态权重。同年12月，700亿参数的Llama 3.3发布，Meta称其在若干任务上接近4050亿参数的Llama 3.1而部署成本更低^[7]。

2025年4月，Meta发布首批Llama 4模型Scout与Maverick，并预览了仍在训练中的Behemoth，总参数约2万亿、激活参数2880亿。Scout的上下文窗口标称可达1000万词元，Maverick为100万词元^[8]。

应用

由于权重可以下载并在自有硬件上运行，Llama常被用于对数据不出本地有要求的场景，例如企业内网的知识问答、文档摘要与检索增强生成。IBM等厂商把Llama 3.1部署在其模型平台上，供客户在自有云或本地环境微调与推理^[6]。

大参数版本还常被用作“教师模型”或评判模型：用其生成合成数据来训练更小的模型，或由其给其他模型的输出打分。Llama 3.2的轻量版本则面向手机与边缘设备，便于在算力受限的环境中运行。

在生态层面，据2025年4月的统计，Llama系列模型的累计下载量已超过12亿次，社区在其基础上衍生出数以万计的微调模型^[9]。中国的云服务商也曾宣布支持Llama系列模型，供开发者调用。

局限

首先是开放性不足。Llama各代的许可均由Meta单独拟定，附带可接受使用政策，禁止用于部分用途；月活跃用户超过7亿的商业实体需另行获得授权。开源倡议组织认为这些条款违反开源定义中不得歧视个人、群体与使用领域的要求，因此不承认Llama属于开源软件，并批评Meta将“开源”一词用于不符合该定义的模型。训练数据的完整清单也未公开，进一步限制了可复现性。

其次是能力与安全的边界。语言模型会生成与事实不符的内容，Llama 2发布后有评测指出其幻觉率较高；模型也可能输出带有偏见或有害的文本，Meta为此配套发布了Llama Guard、Prompt Guard等过滤工具，但这些工具只是缓解手段，不能消除风险^[6]。

部署层面同样存在门槛。4050亿参数的稠密模型需要大量显存与多卡并行的推理设施，普通设备难以本地运行，实际使用多依赖量化压缩或云端服务；多模态与超长上下文版本在长文本上的实际效果也受检索精度与显存限制。此外，Llama 4的预览版本Behemoth长期未开放下载，其宣称的能力无法由第三方独立验证。

在中文等非英语语种上，Llama的官方支持范围有限，Llama 3.1仅明确列出8种受支持语言，其他语种表现需另行评测。

参见

• 大语言模型 —— Llama所属的模型类别，指参数量庞大、以海量文本训练的神经网络语言模型。

• Transformer —— Llama所采用的神经网络架构基础，其解码器结构决定了模型的生成方式。

• 混合专家模型 —— Llama 4引入的稀疏架构，通过路由机制只激活部分参数以降低计算量。

• 分组查询注意力 —— Llama 2起在大参数版本中采用的注意力变体，用于压缩键值缓存。

• 开放权重模型 —— 与Llama分发方式相关的概念，指权重可获取但许可未必符合开源定义。

• Hugging Face —— Llama权重的重要托管与分发平台，也是其衍生模型的主要聚集地。