Open LLM Leaderboard

定义

Open LLM Leaderboard是Hugging Face推出的公开排行榜，只收录权重可公开下载的语言模型，按固定评测流程给出单项得分与综合得分，并在同一页面上排序展示。它与厂商在发布材料中自行公布的分数不同，所有参赛模型面对的是同一套题目、相同的提问顺序和相同的解码设置，因此结果可以在模型之间横向比较，也可以由第三方按其公开的命令复现^[1][2]。

该榜不评测闭源模型，原因是只有开源权重的模型才能被反复运行、核对输出，保证排名建立在可验证的实验之上^[3]。榜单一度是开源模型社区最常被引用的能力参照，2025年停止更新前，官方称其累计评测模型超过1.3万个^[4]。

原理

排行榜的评测工作由EleutherAI维护的语言模型评测框架lm-evaluation-harness承担。同一套框架里配置了多组基准任务，每个任务规定少样本示例数、提问模板与计分方式，模型按固定流程跑完后输出各题得分，再汇总为单个指标；第一版官方给出的复现命令即以该框架为入口^[1]。

2024年改版后，计分方式由各项原始分数简单相加改为归一化处理：以随机猜测可得分为0分，以该任务满分或理论上限为100分，再把各任务换算到同一量纲后取平均。这样处理可以避免模型在一项容易的任务上拿高分、在另一项任务上因基线本来就低而被低估，使不同任务之间的权重更接近对等^[2][5]。

提交与排队机制同样构成流程的一部分。模型作者把权重上传到Hugging Face后申请评测，平台在高性能计算集群上统一运行；社区成员可以投票把关注度高的新模型提前送入队列，维护团队还另设精选区，人工挑出值得评测的模型，以免队列被大量小模型占满^[2][6]。

flowchart LR

A[模型作者上传权重] --> B[提交评测申请]

B --> C[按投票与精选排序]

C --> D[评测集群运行 harness]

D --> E[各基准任务得分]

E --> F[归一化与求平均]

F --> G[排行榜展示与数据公开]

发展历程

该榜的起因是Hugging Face内部的强化学习团队需要复现并比较多个已发布模型的结果，却发现论文和发布稿中的分数常常缺少可执行代码，或者依赖专门调试过的提示与评测设置。团队于是在统一环境下重跑参考模型，把结果集中公布，排行榜由此成形。此后随着一批受关注的模型发布，它在十个月内获得超过200万人次独立访问，每月约有30万社区成员通过提交和讨论参与^[1]。

第一阶段的评测集为6项：AI2推理挑战(ARC)、常识推断数据集HellaSwag、大规模多任务语言理解(MMLU)、衡量模型复述网络谬误倾向的TruthfulQA、Winogrande指代消解以及小学数学应用题集GSM8K，少样本数从0到25不等。2023年秋季，平台又追加了阅读理解与计算混合的DROP等任务，并用约一年的GPU时间重跑了2000多个模型^[1][7]。

旧评测集随后出现饱和与污染问题：模型在HellaSwag、MMLU、ARC上的成绩逼近人类水平，区分度下降；部分模型的训练数据已包含GSM8K、TruthfulQA等内容；MMLU本身还被发现存在错误题目，GSM8K使用特定结束符号的设定也对输出冗长的模型不利。2024年6月，Hugging Face将旧榜归档，发布全面更换评测集的第二版，6项旧任务全部弃用，改用MMLU-Pro、GPQA、MuSR、MATH第5级、IFEval与BBH，同时引入归一化计分、社区投票和精选区^[1][2]。

新版首轮结果中，阿里云的通义千问Qwen2-72B-Instruct以43.02的平均分居首，是当时唯一进入40分档的模型，Meta的Llama-3-70B-Instruct以36.67分列第二；参与评测的模型超过7500个，前十名中有3个来自Qwen系列^[3][8]。

2025年3月，维护团队宣布排行榜正式退役并转为存档：理由是大语言模型已转向推理模型与助手形态，原有基准逐渐跟不上，继续保留可能引导研究者朝不再有意义的方向刷分。退役时官方统计的评测模型数为1.3万余个，平台上另有200多个由社区维护的排行榜接续这一工作^[4]。此后页面仅作存档展示，不再接受新模型提交^[9]。

应用

主要用途之一是筛选开源模型。开发者在众多权重公开的模型中做技术选型时，可以查看模型在知识、推理、数学和指令遵循几个方面的分项成绩，而不必依赖发布材料中的自评，这使榜单在模型微调与权重合并开始流行时成为日常查阅的参照^[4][1]。

另一类用途是训练与微调工作的外部校验。研究者可借榜单检验预训练或微调方法的效果，把自己的模型与同规模的最好模型放在同一标尺上比较；学术论文中也常直接引用其公布的分数作为实验基线，例如涉及模型合并、偏好优化的研究便把该榜数据作为评价依据^[1][10]。

此外，排行榜把每次运行的原始结果与逐题输出整理成公开数据集，任何人都能下载复核，这为评测方法本身的研究提供了语料，也让后来的社区榜单可以沿用其脚本与数据结构^[1][11]。

局限

基准的可信度受数据污染威胁。若模型的训练语料包含评测题目或与之高度相似的文本，得分就不再反映真实能力，而反映记忆效果；GPQA一类题目因此限制访问以防外泄，但无法彻底排除间接泄漏^[2][1]。

围绕榜单的针对性优化是另一重风险。第一版运行一年后，部分模型被过度训练以迎合其固定题库，成绩上升却在真实使用中表现退步；Llama系列的若干更新版本在第二版中的排名明显低于旧榜，被认为是过度拟合旧评测集的后果^[6][3]。

单一综合分也难以概括模型能力。维护者在退役说明中承认，一个数字无法有意义地代表模型的实际水平；对移动端部署等特定场景而言，博士级知识类任务的分数并非关键指标^[4][12]。

评测口径本身也会造成偏差。第二版中，部分经过对话微调的模型在数学任务上反而低于其基座版本，因为微调使回答变得冗长，而评分脚本对输出格式要求严格；同一模型在不同精度、不同提交版本下的结果也存在差异，退役后仍有研究者发现存档数据中个别行的分数停留在旧评分脚本上^[2][13]。

参见

• Hugging Face —— 运营该排行榜的人工智能模型托管与协作平台。

• 大语言模型 —— 排行榜所评测的对象。

• lm-evaluation-harness —— 排行榜实际调用的开源评测框架。

• MMLU —— 第一版采用的综合知识基准，后被MMLU-Pro取代。

• 聊天机器人竞技场 —— 以人类两两对比投票为主要方法的另一类模型排名。

• 基准测试 —— 排行榜赖以计分的评测任务与数据集。