NuminaMath

定义

NuminaMath 是一套面向大语言模型数学推理能力的开放训练数据集，主体由竞赛数学题目和与之配套的详解答案构成，样本量约 86 万条^[1]。与只保留最终答案的题库不同，它把每道题的解答改写成带推理步骤的思维链，使模型在训练时能学到推导过程^[2]。数据集在 Hugging Face 上以 NuminaMath-CoT 的名称发布，另有一条由它衍生出的工具集成推理由数据分支。

数据集的创建方为 Project Numina，这是一个以推动人工智能与数学结合为目标的开源非营利组织，机构定位是开放数据与开源模型^[3]。

原理

数据集的构建从原始试卷的收集开始。研究团队把历年竞赛与考试题的 PDF 文件作为主要来源，先做光学字符识别，把版面上的公式与符号转成可处理的文本，再切分出成对的题目与解答^[2]。规模最大的一支来源是中国 K12 数学题，约 27.7 万条；其次是合成数学题约 16.8 万条、Orca-Math 约 15.3 万条、各国奥赛题约 15.1 万条^[2]。

清洗环节包括翻译与格式统一：非英文题目被译成英文，积分、极限、导数等常见符号被规范表达，答案部分统一成便于判分的格式^[4]。去重与去污染依靠精确字符串匹配以及基于嵌入的最近邻检索完成，AMC、AIME 一类来源还单独追加了更严格的检查^[4]。

第二套数据 NuminaMath-TIR 服务于工具集成推理。团队从 CoT 数据中挑选约 7 万道答案为数值的题目，用 GPT-4 生成“自然语言推理 + Python 程序 + 执行结果”交替出现的解题路径，只保留最终答案与参考答案一致的轨迹，并重复生成三轮以提高一致性^[5]。训练时，模型据此学会在推理中途调用 Python 解释器计算中间结果。

两阶段训练流程可概括为：先在高覆盖的 CoT 数据上做监督微调，再在 TIR 数据上继续微调，得到能自行写代码验证的推理代理。

graph LR

A[试卷 PDF 与论坛题目] --> B[OCR 识别]

B --> C[切分为题目-解答对]

C --> D[翻译为英文、统一符号]

D --> E[去重与去污染]

E --> F[改写为 CoT 格式]

F --> G[NuminaMath-CoT]

G --> H[筛选数值答案题目]

H --> I[生成代码推理路径]

I --> J[NuminaMath-TIR]

该流程的效果可以在评测中看到：仅做 CoT 阶段微调的 7B 模型在 MATH 基准上得 56.3 分，继续做工具集成推理训练后升到 68.2 分。

发展历程

2023 年 11 月，AI 数学奥林匹克奖（AI Mathematical Olympiad Prize，AIMO）设立，目标指向能在国际数学奥林匹克中达到金牌水平的开放模型，并配套设置了一系列阶段性进步奖。首届进步奖以 Kaggle 竞赛形式举办，题目难度大致相当于 AMC12 与 AIME，答案均为整数，参赛者只能使用比赛开始前已公开权重的模型，在单卡 P100 或双卡 T4 的算力与 9 小时时限内解题。

2024 年上半年，Numina 团队与来自 Hugging Face 的微调研究者合作参赛，以 DeepSeekMath-Base 7B 为底座，按两阶段方案训练出 NuminaMath-7B-CoT 与 NuminaMath-7B-TIR^[4]。在 50 道未公开测试题上，该模型答对 29 道，位列第一^[6]。

2024 年 7 月，团队在公布模型权重之后开放了训练数据，NuminaMath 数据集与复现代码一并释出^[6]。数据集技术报告于 2024 年 7 月 22 日发布，标题即为“AI4Maths 领域最大的公开数据集，含 86 万对竞赛数学问题与解答”^[7]。

此后数据集继续迭代。NuminaMath-1.5 将题量扩充到约 90 万条，为每道题补充答案、数学领域（代数、几何、数论、组合、微积分、不等式等）与题型（选择题、证明题、数值题）三类元数据，并用数十个国家奥赛官网的材料重新人工校验了原有的奥赛子集，同时移除了效果不佳的合成子集^[8]。

在数学推理数据之外，Project Numina 还把工作延伸到形式化数学，陆续发布 Lean 形式化题目数据集与定理证明智能体^[3]。中科院数学与系统科学研究院的研究团队曾与该组织合作，用其形式化工具完成三维挂谷猜想证明的机器核验^[9]。NuminaMath 本身则继续作为该组织的代表性数据资产被维护^[3]。

应用

最直接的用途是大语言模型的数学能力后训练。数据集提供题目、逐步解答与最终答案三段信息，可用于监督微调，也可作为可验证奖励信号支撑强化学习，因而在开源数学模型的训练配方中被反复引用^[8]。NuminaMath-1.5 发布说明把它的定位明确为“后训练数据”，即用于在通用底座模型之上补齐推理能力^[8]。

第二类用途是构建工具使用型推理代理。基于 NuminaMath-TIR 训练出的模型会在推理过程中写出 Python 代码并读取执行输出，这一模式被称为工具集成推理，也被后续工作当作范例沿用。在推理阶段，团队还配合自一致性解码，对同一道题采样多个候选解并以多数投票确定答案，以降低结果方差。

此外，数据集常被下游研究用作种子语料：有的工作从中提取题目再生成新的验证链，有的把它作为思维链补全与数据筛选方法的对比基准^[10][11]。数学教育场景下的题目检索与讲解生成，也把它当作可用的题库来源之一^[12]。

数据集以 Apache 2.0 许可发布，研究者与开发者可在许可范围内自由取用^[2]。

局限

数据集覆盖的数学类型并不均衡。官方模型说明指出，7B 模型在贪婪解码下能处理 AMC12 水平的题目，但面对 AIME 与奥赛级别的难题时常常给不出有效解答，几何题尤其薄弱，原因之一是模型容量有限、缺少视觉等模态输入^[13]。这说明以文本形式收录的几何题与实际解题所需的空间信息之间存在缺口。

解答质量依赖原始来源与改写流程。早期版本的奥赛子集由通用正则表达式与语言模型解析，出现了较多解析错误，1.5 版才改用各国奥赛官网材料进行人工核对^[8]。合成题目同样存在可靠性问题：官方在消融实验中发现合成子集 synthetic_amc 对性能略有损害，遂将其移除，并表示在找到可靠的高质量合成方法前计划逐步去掉合成数据^[8]。

数据结构上也存在使用门槛。早期版本没有为每道题单独给出标准答案字段，下游研究者需要从解答文本中搜索框定答案来重建标签，只能保留恰好含有一个框定答案的样本，其余被过滤^[14]。另有研究指出，此类人工撰写的思维链普遍存在跳步现象，即专家省略了自己认为显然的中间环节，模型难以自动补齐这些推理缺口，从而限制泛化能力^[11]。

此外，数据集面向竞赛数学这一相对狭窄的领域，据其模型说明，基于它训练的模型不适合通用对话用途^[13]。题目总量虽大，但主要语种经翻译后以英文为主，其他语言的原始表达在流程中被弱化^[2]。

参见

• 思维链 —— 数据集每条解答所采用的逐步推理格式，也是其核心组织方式。

• 大语言模型 —— 数据集主要服务的训练对象。

• DeepSeekMath —— NuminaMath 系列模型所微调的开源底座模型。

• Hugging Face —— 数据集与模型权重的托管与发布平台。

• Lean —— Project Numina 后续形式化数学工作所用的证明助手语言。

• 国际数学奥林匹克 —— 数据集题目难度所参照的竞赛体系。