Llama 4

定义

Llama 4是Meta公司开发并开放权重下载的大语言模型家族，是Llama系列的第4代产品^[4]。该系列在2025年4月发布首批版本，包括参数规模较小的Llama 4 Scout和定位通用能力的Llama 4 Maverick，两者都以原生多模态方式接收文本与图像输入并输出文本或代码^[1]。系列中规模最大的Llama 4 Behemoth在发布时被作为预览对象介绍，并未随首批版本一同开放下载^[2]。

三款模型的定位不同：Scout面向文档摘要、长上下文检索与大型代码库推理，Maverick偏重多模态理解、多语言与编程能力，Behemoth则被描述为训练过程中用于辅助其他模型开发的“教师模型”^[2]。Meta沿用此前Llama系列的做法，将模型权重公开发布，使用者可以在自有硬件上部署或微调^[5]。

原理

Llama 4是Llama系列中首个采用混合专家（Mixture-of-Experts，MoE）架构的模型^[2]。在MoE结构的Transformer中，前馈计算被拆分给若干专家子网络，路由机制针对每个token只激活其中一部分专家，因此同等总参数量下所需算术运算少于稠密模型^[6]。Scout的总参数约1090亿，每个token激活约170亿；Maverick总参数约4000亿，激活参数同样约170亿，专家数量分别为16个和128个^[1][2]。激活参数量只反映单次计算量，全部专家权重通常仍需载入内存或分布于多台设备^[6]。

多模态方面，Llama 4采用早期融合(Early Fusion)，把图像与文本表示放入同一条模型序列，而非仅在末端接一个视觉模块^[4]。Meta在预训练中使用图像与视频帧静帧赋予模型视觉理解能力，支持多图与文本提示的组合输入；可下载的模型卡并未把视频流输入或视频输出列为支持模态^[6]。

长上下文能力来自Scout所用的iRoPE结构，它把使用旋转位置编码的层与不带位置编码的交错注意力层组合起来^[6]。Scout以256K序列完成预训练与后训练，Meta给出的最大上下文为1000万token，Maverick的上下文窗口为100万token^[6][4]。

发展历程

Llama系列由Meta自2022年起陆续推出，2023年开源的Llama 2允许免费商用，带动了基于该系列的应用生态^[2]。2024年4月Llama 3发布，在单语言任务之外增加了多模态处理能力^[2]。2025年4月5日，Meta发布Llama 4的首批模型Scout和Maverick，并预览了仍在训练中的Behemoth^[6]。

Behemoth的发布进程并不顺利。有报道称Meta原计划在2025年4月首届Llama开发者大会期间推出该模型，后延期至6月，又推迟到秋季或更晚，工程师在提升其能力方面遇到困难，员工也质疑其相对前代模型的提升幅度是否足以公开发布^[3][7]。此后Meta将前沿模型工作重组到超级智能实验室，并以另一名称发布新的前沿模型，可下载的Llama系列则停留在Scout与Maverick^[6]。

应用

在Meta自有产品中，Llama 4被用于驱动Meta AI助手，覆盖WhatsApp、Messenger与Instagram等平台^[8]。Scout可用于在单张H100 GPU上推理，Maverick则需要DGX级别的系统，量化后的Maverick可在消费级显卡上运行^[8][5]。

按Meta给出的适用场景，Scout擅长长上下文检索、多份大型文档的摘要与大规模代码库推理，Maverick适合图像描述与分析、视觉问答、创意文本生成以及需要图像理解能力的对话应用^[4]。第三方框架提供加载、量化与CPU卸载等手段，以便在显存不足的机器上运行这些模型^[9]。Meta首席产品官曾表示该系列将推动具备推理与行动能力的AI智能体发展^[1]。

局限

Llama 4以开放权重名义发布，但采用自定义的社区许可协议，规定月活跃用户超过7亿的商业机构需另行获得Meta授权，且是否授予由其自行决定^[10]。开放源代码促进会曾于2023年表示，此类限制使模型不再符合开源的界定^[11]。

官方标注的上下文长度不等于各长度下都有稳定的推理与召回质量，Scout的1000万token上限属于此类标称值^[6]。激活参数少只降低单次前向计算量，部署时仍需容纳全部专家权重，两个版本参数量均在千亿级以上，普通设备难以直接运行^[9]。

系列内最受关注的Behemoth长期未能公开发布，其公布的对标成绩也未获独立评测复现^[12]。有报道指出，Llama 4发布前Meta曾因模型在推理与数学任务上的基准表现未达内部预期而推迟过进度。另据报道，发布后有人发现提交至某公开排行榜的模型与对外发布的版本并非同一个，Meta方面承认提交的是针对测试优化过的版本^[7]。

参见

• 混合专家模型 —— Llama 4所采用的核心架构，通过路由选择性激活专家子网络。

• Llama 2 —— Meta此前开源并允许免费商用的同系列模型，奠定了Llama生态基础。

• Llama 3 —— Llama 4之前的上一代模型，开始引入多模态处理能力。

• 大语言模型 —— Llama 4所属的模型类别。

• 开放权重模型 —— Llama 4的发布方式，权重可下载但附有使用条件。