Gemma 3 27B
定义
Gemma 3 27B是Gemma 3模型家族中参数量最大的成员，属于开放权重的多模态语言模型。它接受文字与图像作为输入，输出为文本，既可以用于通用对话，也可以针对特定领域继续微调。
该模型同时提供预训练版与指令微调版两种形态，前者适合自行适配下游任务，后者面向开箱即用的问答与对话场景[1]。在Gemma 3的四个尺寸(1B、4B、12B、27B)中，27B版本承担了对性能要求较高的任务，而较小的版本更侧重端侧部署[3]。
原理
模型沿用仅解码器(decoder-only)的Transformer结构，并采用分组查询注意力(Grouped-Query Attention)以压缩键值缓存的开销，同时以RMSNorm进行归一化、以QK-norm替代上一代的软截断做法[4][5]。
支持长上下文的主要手段是混合注意力布局：每5个局部滑动窗口注意力层搭配1个全局注意力层，局部层的窗口跨度仅为1024个token，只有全局层负责覆盖整段长文本。局部与全局层的组合可写成 $5:1$，由此显著抑制了长序列推理时的KV缓存增长[4][6]。与Gemma 2的1:1比例、4096 token窗口相比，这一改动在内存占用上收益明显，而消融实验显示其对建模质量的影响有限[7]。
位置编码使用旋转位置嵌入(RoPE)，全局注意力层的基频由10k提高到1M，局部层保持10k，从而使模型在预训练后能够外推到128K上下文。多模态部分由基于SigLIP的视觉编码器承担，该编码器在4B、12B、27B三个尺寸间共用且在训练中保持冻结，原始输入分辨率为896×896像素；配合自适应窗口与切块算法，模型可处理高分辨率与非方形图像[1][4]。
分词器词表规模为262k，与Gemini系列使用同一套分词方案，对非英语语言的切分更为均衡，这也是其多语言能力提升的来源之一[8]。
发展历程
2025年3月12日，谷歌在巴黎开发者日活动上发布Gemma 3系列，27B版本随该系列一同开放权重。官方同时公布了ShieldGemma 2——一个基于Gemma 3构建的4B图像安全检查器[3]。发布时官方给出的数据显示，Gemma系列自首版推出以来累计下载量已超过1亿次，社区衍生模型超过6万个[1]。
27B版本在Google TPU上使用JAX框架训练，消耗约14万亿(token)的训练数据，为同系列中最多；1B、4B、12B分别对应2万亿、4万亿与12万亿token[1][4]。
2025年3月25日，技术报告以预印本形式公开，系统描述了架构改动、蒸馏训练与评测结果[9]。同年4月，谷歌发布采用量化感知训练(QAT)的版本，27B模型在int4精度下的体积由BF16的54GB降至约14.1GB，可在显存24GB的桌面级显卡上运行。
此后多家云平台将该模型纳入模型目录，例如亚马逊云科技的Bedrock平台提供了27B预训练版的托管条目，记录了2025年3月12日的上线日期[2]。
应用
在后训练阶段，Gemma 3采用由大模型向预训练检查点蒸馏、基于人类反馈的强化学习、基于机器反馈的强化学习以及基于执行反馈的强化学习等若干环节组合，重点提升数学、编码与指令遵循能力[1][10]。技术报告称，27B指令版的综合表现可与Gemini 1.5 Pro相比较[9]。
模型支持函数调用与结构化输出，可用于构建自动化工作流与代理式应用；配合128K上下文，适用于长文档分析、跨语言问答与图像内容问答等任务[3]。
在部署侧，27B版本可通过Google AI Studio试用，权重可从Hugging Face与Kaggle获取，并接入Hugging Face Transformers、Ollama、llama.cpp、vLLM、Keras、PyTorch等工具链，亦可在Vertex AI、Cloud Run等云端环境运行[3]。英伟达方面表示该模型可部署于其Jetson系列嵌入式板卡，27B版本可在Jetson AGX Orin上提供服务。
局限
模型的输出模态仅限于文本，图像只作为输入而非生成目标，因此不能直接产出图片或视频。视觉编码器固定以896×896分辨率工作，非方形与超高分辨率图像依赖窗口切分处理，图像中的细节仍可能在该流程中损失[4]。
长上下文能力在尺寸间并不一致：128K上下文只适用于4B、12B与27B，1B版本为32K。上下文加长后注意力计算与缓存开销仍然存在，混合注意力只是缓解而非消除这一成本[6]。
公开评测结果显示能力并不均衡：27B指令版在BIG-Bench Hard上得87.6分、MATH得89.0分，但SimpleQA仅10.0分，GPQA Diamond为42.4分，说明其在开放性事实问答与高难度专业推理上仍有明显短板。此外，BF16精度下模型体积达54GB，未经量化时对硬件要求较高，量化虽压缩体积，但精度与全精度版本存在差异。
参见
参考资料
- Introducing Gemma 3: The Developer Guide [引用日期2026-10-29]
- View a markdown version of this page [引用日期2026-10-29]
- blog.google 上的网页 [引用日期2026-10-29]
- Gemma 3 Technical Report - \authfootnotetext [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- 06_swa [引用日期2026-10-29]
- jiqizhixin.com 上的网页 [引用日期2026-10-29]
- Gemma3: Local LLM with Multimodal Support [引用日期2026-10-29]
- Paper page - Gemma 3 Technical Report [引用日期2026-10-29]
- Gemma 3 소개: 개발자 가이드 [引用日期2026-10-29]