FineWeb

定义

FineWeb是一个以网页文本为原料、面向大型语言模型预训练的开放数据集，规模约15万亿个token，语种以英语为主^[3]。其数据来自Common Crawl这一非营利组织长期抓取并公开的网络存档，研究者从中选取96个抓取快照作为原始输入。除完整数据集外，项目还衍生出面向教育类内容的子集FineWeb-Edu，规模约1.3万亿个token。

FineWeb的发布动因之一，是当时表现较好的开放模型（如Llama 3、Mixtral）大多未公开其预训练语料，外界难以了解这些语料是如何构建的。项目因此把数据来源、清洗步骤、参数选择与评估结果一并公开，使语料构建过程可以被复现和检验^[1]。

原理

FineWeb的构建思路是逐环节做“数据消融”：在流水线的每个阶段分别改动一种处理方式，用改动前后数据训练结构相同的小模型，再比较下游基准得分，从而判断该处理是否真的有益^[4]。消融模型参数量为1.71B，采用Llama架构与GPT-2分词器，序列长度2048，单次过滤实验约使用280亿个token训练^[4]。评估使用CommonSense QA、HellaSwag、OpenBook QA、PIQA、SIQA、WinoGrande、ARC、MMLU等基准，并把较大基准截断到1000条样本以控制评测成本^[4]。

在文本抽取环节，Common Crawl同时提供WARC与WET两种格式：WARC保留原始页面HTML与请求元数据，WET则是用解析器生成的纯文本^[4]。研究者发现WET文件残留较多模板与导航文字，改用开源库trafilatura从WARC中重新抽取正文，所得数据训练出的模型表现更好，因此后续实验均基于WARC处理^[4]。

基础过滤沿用了此前网络语料工作的部分做法，包括用屏蔽列表按URL剔除成人内容、用fastText语言分类器只保留判定为英语的文本，以及应用质量与重复性过滤器^[4]。去重采用MinHash这类模糊哈希方法，每个文档被切分为5-gram，用112个哈希函数计算签名，签名分成14个桶、每桶8个哈希，用于找出相似度在75%以上的重复文档^[1]。

去重的粒度选择经过比较：把所有快照放在一起统一去重，数据量下降明显，但模型表现并未提升，甚至不如未去重的版本^[1]。改为对每个快照单独去重后，重复度高的文档簇与重复度低的文档簇之间的分布差异被拉平，效果优于全局去重^[1]。整个流水线在团队自研的开源数据处理库datatrove上运行，可扩展到数千个CPU核心并行处理^[1]。

发展历程

2024年4月至5月间，Hugging Face的机器学习团队公开发布FineWeb，并同步给出数据卡与清洗脚本。其时的数据覆盖Common Crawl从2013年夏季至2024年3月的抓取内容，按GPT-2分词器计约15万亿个token，以英语文本为主。不同来源对快照数量分别记为95个和96个，官方论文采用96个的说法。

2024年6月，项目论文《The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale》公开，系统记录了各处理环节的设计与消融结果，并同时提出FineWeb-Edu子集。该论文随后入选NeurIPS 2024数据集与基准专题^[5][6]。论文作者包括Guilherme Penedo、Hynek Kydlíček、Loubna Ben Allal、Anton Lozhkov、Margaret Mitchell、Colin Raffel、Leandro Von Werra与Thomas Wolf^[5]。

此后项目向多语种方向扩展。FineWeb 2覆盖超过1000种语言，采用GlotLID识别文档语言与书写系统，按语言分别做全局去重，并记录重复文档簇的大小以便后续上采样^[7]。其处理流程还包括针对各语言调整过滤器、个人身份信息匿名化以及用FTFY修复编码问题^[7]。

应用

FineWeb的主要用途是作为大型语言模型的预训练语料，也可供研究者在其上做继续预训练与数据配比实验。数据集按Common Crawl快照组织，单个快照可独立下载，便于按时间切片选用数据。除完整版本外，FineWeb-Edu按“教育性”分类器给出的分数设阈值，形成1.3万亿token的子集，另有阈值更宽、约5.4万亿token的版本^[2]。

在知识与推理密集型基准如MMLU、ARC上，用FineWeb-Edu预训练的模型表现明显优于用完整FineWeb训练的模型。项目公开了消融实验训练的全部模型与评测配置，使数据筛选方法本身也可作为研究对象^[4]。

局限

FineWeb主体只包含英语文本，其他语种需依赖后续的多语种版本^[3][7]。其质量判断建立在1.71B参数量小模型的消融实验之上，这一规模与当前主流大模型差距较大，结论在更大模型上是否同样成立并未由该数据集本身给出验证^[4]。

过滤与去重的收益并非单调。全局去重虽然显著缩减数据，却未带来性能提升，说明按相似度删除文档可能一并去掉仍有价值的内容^[1]。过滤强度也存在两难：保留过多模板文本、乱码等非自然语言会损害模型表现，过滤过狠则使语料规模不足以支撑常规预训练。项目方亦表示仍有继续过滤与改进的空间^[8]。

参见

• Common Crawl —— FineWeb的原始网页数据来源。

• 大型语言模型 —— FineWeb面向的主要训练对象。

• Hugging Face —— 构建并发布FineWeb的组织。

• 去重 —— 语料处理中的关键步骤。

• 分词器 —— 数据集token规模的计量依据。

• FineWeb-Edu —— 从FineWeb中筛出的教育类文本子集。