OLMoE
OLMoE 是艾伦人工智能研究所(Ai2)与 Contextual AI 联合研发并完全开源的稀疏混合专家(MoE)语言模型,全称 Open Mixture-of-Experts Language Models,主模型代号 OLMoE-1B-7B。其总参数约 69 亿,但每个输入词元只激活约 13 亿参数,在 5 万亿级词元上预训练,并衍生出指令微调版本 OLMoE-1B-7B-Instruct。除权重外,训练数据、代码、日志与中间检查点一并公开,被视为研究混合专家架构的重要开放基线。
定义
OLMoE 是艾伦人工智能研究所(Ai2)与 Contextual AI 共同发布的一系列完全开放的语言模型,采用稀疏混合专家(Mixture-of-Experts,MoE)架构。论文标题中的全称是 Open Mixture-of-Experts Language Models[1]。其核心型号命名为 OLMoE-1B-7B,含义是总参数约 70 亿、每个输入词元激活约 10 亿参数[1]。
该模型属于 OLMo(Open Language Model)模型家族的成员,是家族中首个采用混合专家结构的模型。发布时同时提供预训练基座与指令微调版本 OLMoE-1B-7B-Instruct[2]。「完全开放」所指的不只是模型权重,还包括训练数据、训练代码、评测结果、训练日志与中间检查点[3]。
原理
常规稠密语言模型对每个词元都要运行完整的前馈神经网络。OLMoE 把每个 Transformer 层中的单一前馈网络替换为一组较小的前馈网络,这些子网络被称为「专家」,再由一个可学习的路由器决定每个词元交给哪些专家处理[4]。路由器是一个线性层,其输出经 softmax 归一化后得到各专家的路由概率,被选中的 k 个专家的输出按各自概率加权求和,作为该层混合专家模块的结果[4]。
OLMoE-1B-7B 每层设置 64 个粒度较小的专家,前馈维度仅为 1024,每个词元激活其中 8 个,采用无丢弃(dropless)的按词元选择路由[2]。整个模型共 16 层,隐藏维度 2048,词表规模 50304,使用 SwiGLU 激活、RMSNorm、RoPE 位置编码与 QK-Norm[2]。训练目标由交叉熵损失与两项辅助损失构成:负载均衡损失与路由器 z 损失,权重分别为 0.01 与 0.001,用于避免专家负载塌缩、稳定路由[2]。
论文通过约 18 至 20 项受控实验比较了不同设计:在相同激活参数下,64 个小专家激活 8 个优于 8 个大专家激活 2 个;按词元选择的无丢弃路由优于按专家选择的路由;共享专家未带来收益;把已有稠密模型稀疏升级为 MoE 只在较小算力预算下有效[5][6]。
发展历程
OLMoE 的论文于 2024 年 9 月 3 日提交至 arXiv,预印本编号 2409.02060,作者包括 Niklas Muennighoff、Luca Soldaini、Dirk Groeneveld、Hanna Hajishirzi 等 24 人[7][8]。Ai2 在 2024 年 9 月 4 日的博客中正式公布该模型,称其为 OLMo 家族首个混合专家模型。发布时同步公开 244 个预训练检查点,约每 5000 步一个,以及退火与非退火、是否加负载均衡等不同版本。
预训练在 256 块 NVIDIA H100 显卡上使用 PyTorch FSDP 与混合精度进行,耗时约 10 天,训练词元量约 5.1 万亿[3][2]。预训练数据混合了 DCLM、Dolma 1.7 中的 StarCoder、peS2o、维基百科等来源,组成名为 OLMoE-Mix 的数据集[6][9]。指令版本经监督微调与基于 UltraFeedback 的直接偏好优化两步适配而成。
2025 年 1 月,Ai2 使用 OLMo 2 的中期训练数据配方 Dolmino 与 Tülu 3 后训练方案更新模型,发布 OLMoE-1B-7B-0125-Instruct 等版本,评测平均分较 2024 年 9 月版本有明显提升[10][11]。该论文随后被 ICLR 2025 接收[1]。2025 年 2 月 11 日,Ai2 又推出开源的 iOS 应用,让模型以 4 位量化形式在手机本地离线运行[10]。
应用
由于每词元计算量接近 10 亿参数的稠密模型,而模型能力接近更大的模型,OLMoE 适合部署在算力与延迟受限的场景[3]。Contextual AI 提出其可用于边缘设备上的检索增强生成系统,并可与其 GRIT 一类方法结合[3]。模型卡显示其许可为 Apache 2.0,定位为研究与教育用途[11]。
在端侧方面,Ai2 与 GenUI 合作构建了 iOS 应用,基于 Llama.cpp 的 Swift 绑定,经 Q4_K_M 量化后在 iPhone 16 Pro 上平均约 41 词元/秒;受硬件限制,首版要求 iPhone 15 Pro 或更新机型,以及 M 系列 iPad[10]。模型权重也以 GGUF 格式发布,便于在本地设备上运行,并被 Hugging Face 的 Transformers 库纳入支持[12][13]。作为完全开放的研究基线,它也被用于检验路由饱和、专家共激活、领域与词汇专业化等现象[6]。
局限
OLMoE 的激活参数仅约 13 亿,规模上限有限,在部分基准上仍不及更大的稠密模型,例如 Llama 3.1-8B[5]。虽然推理计算量接近 10 亿参数稠密模型,但全部专家都需驻留显存,因此显存占用高于同等激活参数的稠密模型[5]。
训练效率的提升也有边界。受控对比显示,混合专家模型达到稠密模型相同效果所需的词元数与浮点运算量约少 3 倍,但由于每秒处理的词元更少,实际训练耗时只快约 2 倍,不能据此推断推理速度普遍更快[5]。模型使用的上下文窗口为 4096 词元,短于部分同期模型[2]。
模型卡说明其训练数据以英文为主,并指出安全训练有限,若被引导可能产生不当内容,部署时缺少类似商业服务的在线过滤机制[11]。研究者同时表示,跨模型比较受到训练数据与方案差异的影响,基准差距不能全部归因于混合专家架构本身[5]。
参见
参考资料
- OLMoE: Open Mixture-of-Experts Language Models [引用日期2026-10-29]
- OLMoE: Open Mixture-of-Experts Language Models [引用日期2026-10-29]
- olmoe-mixture-of-experts [引用日期2026-10-29]
- jishuzhan.net 上的网页 [引用日期2026-10-29]
- OLMoE：开放的混合专家语言模型 [引用日期2026-10-29]
- OLMOE：开放混合专家语言模型 [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- OLMoE: Open Mixture-of-Experts Language Models [引用日期2026-10-29]
- task_categories: [引用日期2026-10-29]
- OLMoE, meet iOS | Ai2 [引用日期2026-10-29]
- OLMoE-1B-7B-0125-Instruct [引用日期2026-10-29]
- OLMoE (January 2025) - a allenai Collection [引用日期2026-10-29]
- OLMoE · Hugging Face - Transformers documentation [引用日期2026-10-29]