Gemma 2

定义

Gemma 2是谷歌DeepMind推出的一系列开放权重文本大语言模型，属于Gemma家族的第二个世代，按参数量分为2B、9B和27B三档^[1]。所谓开放权重，指发布方公开模型参数，研究者与开发者可在其许可证条款下自行下载、微调与再分发，这与只能通过云端接口调用的Gemini模型不同^[2]。

该系列每一个规模都提供预训练版本与指令微调版本，前者仅完成下一词元预测训练，后者经过面向对话的调整^[3]。模型只处理文本输入并输出文本，官方将其适用场景概括为文本生成、摘要与信息抽取^[4]。

原理

Gemma 2沿用仅解码器的Transformer结构，以自回归方式逐词元生成文本，并继续使用旋转位置编码(RoPE)与近似GeGLU激活函数，上下文长度为8192个词元，与第一代保持一致^[5]。三档模型的宽度与深度随规模递增，27B模型为46层、隐藏维度4608，9B模型为42层、隐藏维度3584，2B模型为26层、隐藏维度2304^[6]。

与第一代相比最明显的改动是注意力层的排布：模型每隔一层交替使用局部滑动窗口注意力与全局注意力，局部层的窗口为4096个词元，全局层覆盖8192个词元，从而在保留长距离依赖的同时压低缓存开销^[1]。注意力部分还采用分组查询注意力(GQA)，让多个查询头共享键值头，官方消融显示这一选择在性能基本不变的情况下参数更少、推理更快^[7]。

训练稳定性方面，Gemma 2对每个注意力层与最终输出层的logits施加软截断，把数值压缩到固定区间，公式为 $\mathrm{logits} \leftarrow \mathrm{soft\_cap} \times \tanh(\mathrm{logits} / \mathrm{soft\_cap})$，其中注意力层取50.0、输出层取30.0。此外，各子层的输入与输出均经过RMSNorm归一化，以抑制训练中的数值波动。

小尺寸模型的能力主要来自知识蒸馏。技术报告把2B与9B模型交给更大的教师模型指导，用教师给出的下一词元概率分布替代独热标签，并在超出计算最优量约50倍的词元数上训练；27B模型则从头预训练。训练软件栈为JAX与ML Pathways，硬件使用谷歌云TPU，27B在TPU v5p上训练、9B在TPU v4上训练^[5]。

flowchart LR

A[输入文本] --> B[词元嵌入]

B --> C{解码器层}

C -->|局部滑动窗口 4096| D[注意力]

C -->|全局注意力 8192| D

D --> E[RMSNorm 与 GeGLU 前馈层]

E --> F[logit 软截断]

F --> G[输出下一词元]

发展历程

2024年6月27日，谷歌正式发布Gemma 2，首批提供9B与27B两种参数规模，权重可从Kaggle与Hugging Face下载，并可在Google AI Studio中试用^[2]。发布时谷歌强调27B模型可在一台配备谷歌云TPU、英伟达A100 80GB或H100的机器上以全精度运行推理^[2]。

2024年7月31日，Gemma团队公开技术报告《Gemma 2: Improving Open Language Models at a Practical Size》，系统披露架构、预训练与后训练流程及评测结果，报告同时给出了2B规模的设计。同年8月22日，谷歌开发者博客刊文解析Gemma 2的架构变化，确认2B、9B、27B三档规格均已提供。

此后谷歌围绕Gemma 2扩展了配套生态：2024年8月推出基于Gemma 2构建的内容安全分类器ShieldGemma与可解释性工具GemmaScope。在日本市场，谷歌还发布了针对日语优化的Gemma 2 2B版本，并同步公开训练指南，作为多语言适配的示例^[8]。

应用

作为通用文本模型，Gemma 2可用于文本生成、摘要与抽取类任务，也可通过微调适配特定业务^[3]。由于参数量较小，它被设计为可在服务器、高端台式机乃至移动设备等不同层级硬件上部署，参数量越低对算力的要求越少^[4]。

在工具链层面，Gemma 2可与Hugging Face Transformers、Keras 3.0、JAX、PyTorch、TensorFlow、vLLM、Ollama以及英伟达TensorRT-LLM等框架配合使用，也提供面向CPU的量化实现Gemma.cpp^[2]。谷歌云用户可在Vertex AI上部署与管理该模型，研究者和开发者亦可用Keras、Hugging Face或社区工具Axolotl进行微调。

围绕模型还形成了若干衍生用途，例如以Gemma 2为基座的内容安全分类器，以及面向特定语言的本地化版本^[8]。这些实践依赖其开放权重与商用许可，使开发者能够在自有数据上二次训练并分发成果^[5]。

局限

Gemma 2是纯文本模型，官方文档只列出文本输入与文本输出，不处理图像或音频^[4]。其上下文的标称长度为8192个词元，部分二手资料称其窗口扩大至约8万词元，与模型卡和技术报告给出的数值不符，应以官方数值为准^[1]。

安全与可靠性方面，技术报告指出测试无法覆盖模型可能遭遇的全部应用与场景，使用者应在部署前针对自身用途做独立的安全评估。报告也说明，预训练数据过滤与红队测试只能降低而不能消除偏见、有害输出与记忆泄露等风险^[1]。

训练与使用上同样存在约束：软截断在发布时与Flash Attention、SDPA等加速实现不兼容，微调时需改用普通注意力实现以保持稳定；小模型依赖教师蒸馏获得能力，学生与教师容量不匹配可能带来训练与推理分布不一致的问题。

参见

• Gemma —— Gemma 2所属的开放模型家族，第一代于2024年初发布。

• Gemini —— 谷歌的闭源旗舰模型系列，Gemma 系列与其共享研究基础。

• Transformer —— Gemma 2所采用的仅解码器网络结构的基础架构。

• 知识蒸馏 —— 训练Gemma 2 2B与9B小尺寸模型的核心方法。

• 分组查询注意力 —— 降低推理开销的注意力变体，在Gemma 2中全面采用。

• 大语言模型 —— Gemma 2所属的模型类别。