Llama 7B

定义

Llama 7B是Meta公司提出的自回归语言模型,采用仅含解码器的Transformer结构,参数量约为70亿,名称中的7B即70亿(7 billion)的缩写^[4][2]。它属于LLaMA模型家族,与130亿、330亿和650亿参数版本同时发布,在四个规模中体量最小、对硬件要求最低^[1]。

该模型为预训练基础模型,输入和输出均为文本,本身不含对话格式的指令微调,通常需要在下游任务上继续训练才能作为助理类应用使用^[4][5]。发布方将其定位为面向研究的基础模型,强调它可以仅依靠公开可得的数据集完成训练^[6]。

原理

Llama 7B由32层解码器堆叠而成,隐藏层维度为4096,含32个注意力头,词表规模32000,训练时的最大序列长度为2048个标记^[7][8]。它以因果语言建模为目标,根据已出现的标记逐个预测下一个标记,因此可直接用于续写与生成任务^[4]。

与原始Transformer相比,该结构在几处做了替换:位置信息通过旋转位置编码(RoPE)注入注意力计算,而非固定的绝对位置向量;归一化使用RMSNorm并置于子层之前;前馈层采用SwiGLU激活以提升表达能力^[9][7]。分词采用基于SentencePiece实现的字节对编码,数字被拆成单个数字,未知字符回退到字节级处理^[10]。

注意力计算可概括为对查询与键向量施加随位置变化的旋转后求内积,使注意力权重只依赖相对位置:$\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\left(\frac{(R_{\Theta}Q)(R_{\Theta}K)^{\top}}{\sqrt{d_k}}\right)V$^[9]。

训练数据以英文网页为主:英文Common Crawl占67%,C4占15%,GitHub约4.5%,维基百科约4.5%,古腾堡与Books3合计约4.5%,arXiv约2.5%,Stack Exchange约2%;维基百科与书籍部分以重复多轮的方式训练^[10][4]。7B版本使用的标记总量约1万亿,学习率约3.0×10⁻⁴,全局批大小为400万标记^[8][4]。

发展历程

2023年2月24日,Meta公司发布LLaMA系列,同时公开描述训练方法的论文,7B与13B、33B、65B一并推出^[1][2]。当时权重仅按非商业研究许可发放给通过申请的学术研究者,普通用户无法直接获得^[6]。

发布约一周后,全部规模的权重被上传至4chan并经由种子文件扩散,其中包含7B版本,该事件使许可条款在实际效果上失去约束力^[11][3]。此后社区围绕权重展开适配:2023年3月出现用C++重写的推理工具llama.cpp,使模型可在笔记本处理器上量化运行;同月斯坦福大学研究者在LLaMA 7B基础上用约5.2万条指令数据微调出Alpaca,公开的成本不足600美元^[12][13]。

2023年7月18日,Meta公司发布后继的Llama 2,其中7B版本训练数据增至2万亿标记、上下文扩展到4096,并改为可商用许可^[3][14]。

应用

作为基础模型,7B版本最常见的用途是作为下游微调与研究的起点,在小规模算力条件下复现指令微调、对齐与量化实验^[15]。Alpaca、Vicuna等一批衍生模型即以LLaMA权重为底座,把微调成本压缩到数百美元量级^[13][16]。

在部署一侧,量化后的7B模型内存占用明显低于更大规模版本,曾被移植到CPU、单张消费级显卡乃至树莓派等设备上运行,成为本地推理工具的常用测试对象^[12][16]。在评测与研究中,它也常被作为同参数量级的对照基线,用于比较不同训练数据与微调方案的效果^[17]。

局限

7B规模的容量限制在多项评测中有所体现:发布时的对照数据显示,它在代码、常识推理、世界知识与数学等基准上的得分低于同系列更大参数版本,复杂推理任务上的差距尤其明显^[17]。原始权重未做指令微调,直接对话时对格式与追问的遵循能力有限,需要额外的指令数据训练^[13]。

训练语料以英语为主,维基百科与书籍部分虽覆盖约20种使用拉丁字母或西里尔字母的语言,但整体非英语能力并未作为设计目标,使用时存在语言覆盖不足的问题^[4][10]。上下文窗口为2048个标记,长文档处理受到限制,后继版本才扩展到4096^[8][14]。

与同类自回归模型一样,输出内容无法预先确定,可能生成不准确或带有偏见的信息,部署前需要针对具体场景另做测试;数据的新鲜度也受训练语料时间范围约束^[17][13]。此外,原版权重采用非商业研究许可,与后续可商用的Llama 2在授权条件上并不相同,引用其成果时需区分版本^[3]。

参见

• LLaMA —— 本词条所属的基础语言模型家族,包含7B至65B多种规模。

• Llama 2 —— 2023年7月发布的后继版本,扩展了上下文并改用可商用许可。

• Alpaca —— 斯坦福大学基于LLaMA 7B微调得到的指令跟随模型。

• Transformer —— Llama 7B所采用的解码器结构的基础架构。

• 旋转位置编码 —— 该模型用于表达标记相对位置的位置编码方法。

• 量化 —— 压缩模型权重、使其能在消费级硬件上运行的技术。