LibriSpeech

定义

LibriSpeech 是一个面向自动语音识别研究的英文语料库，内容全部是朗读出来的英语语音，音频采样率为 16 kHz。开放语音与语言资源平台把它登记为 SLR12 号资源，标注的规模约为 1000 小时。

语料的原始声音来自 LibriVox 项目由志愿者录制的公共领域有声书，对应的文字取自古腾堡计划的电子书文本；制作者把长章节切成短句，并让转写与语音在句子一级对齐^[2]。2015 年发表的会议论文把它描述为可用于训练和评测语音识别系统的朗读英语语料^[3]。

按照官方说明，语料被切成互不重叠的若干子集，每位说话人的录音只出现在其中一个子集里。名称带 clean 的部分平均而言更干净、口音更接近美国英语，其余则归入 other；这一区分是用较为粗略的自动化方法得到的，官方提示不应视作完全可靠^[4]。

原理

语料的构建思路是把已经存在且版权开放的朗读音频与对应文本重新配对。有声书录音与古腾堡电子书文本原本是两份独立资源，制作者先用识别模型做强制对齐，确定每段音频在书中的位置，再按句子边界切分，得到「音频片段—转写文本」的配对样本。

clean 与 other 的划分也依赖识别模型。制作者用一套在《华尔街日报》朗读语音上训练的识别器处理全部音频，再与人工核对的参考转写比较，算出每位说话人的词错误率，然后大致从中位数把说话人分成两组：错误率低的一半进入 clean，较高的一半进入 other^[5][2]。

在使用上，评测的核心指标是词错误率（WER）。它把系统输出与参考转写对齐后，统计替换、删除、插入三类错误所占的比例，数值越低表示识别越准确^[2]。训练集、开发集与测试集分开固定，使不同系统的结果可以直接比较。

发展历程

该语料由 Vassil Panayotov 在 Daniel Povey 协助下整理，论文另署名 Guoguo Chen 与 Sanjeev Khudanpur，作者当时隶属约翰斯·霍普金斯大学语言与语音处理中心^[6]。相关论文在 2015 年 IEEE 国际声学、语音与信号处理会议（ICASSP）上发表，页码为 5206 至 5210^[7]。

论文给出的对比实验显示，只在 LibriSpeech 上训练的声学模型，在《华尔街日报》测试集上的错误率反而低于直接用该测试集同类数据训练的模型，这说明语料规模和多样性带来了可迁移的声学建模能力^[3]。作者同时公开了配套的语言模型训练数据、预训练语言模型，以及便于复现实验的 Kaldi 脚本^[3]。

此后它逐步成为语音识别领域的通用参照。以自监督预训练为代表的模型多以 LibriSpeech 的 960 小时训练集微调并报告结果，其 100 小时子集也被用作低资源条件下的对照设置^[8]。在 LibriSpeech 基础上还衍生出多个后续语料，如提高采样率并保留标点与大写的 LibriTTS，以及把方法推广到多种语言的 Multilingual LibriSpeech^[9][10]。

应用

最主要的用途是训练和评测端到端及混合式语音识别系统。研究工作中常按 100 小时的 train-clean-100、360 小时的 train-clean-360 和 500 小时的 train-other-500 分别做实验，再在 dev-clean、dev-other、test-clean、test-other 上汇报词错误率。也有工作把三者合并为 960 小时、来自 2484 位说话人的完整训练集使用。

除语音识别外，语料也被用于说话人识别与声纹研究。由于录音干净、说话人较多且每人样本充足，同类研究常把它作为说话人确认的基线数据，并同时用于语音匿名化等任务的评测^[11]。在语音合成方向，从 LibriSpeech 切分出的高声质版本被用于训练声码器和文语转换模型^[9]。

公开排行榜进一步扩大了它的影响：多个模型榜单以 test-clean 与 test-other 上的词错误率排序，使该数据集成为比较新旧模型的一条固定标尺^[2]。

局限

语料由朗读构成，缺少日常对话中的停顿、口误、填充词，也没有非母语口音和真实环境噪声。在 LibriSpeech 上表现良好的系统，未必能直接迁移到会议、电话或嘈杂场景，这也是后来出现 CHiME 系列与对话语音语料的原因之一^[10]。

clean 与 other 的划分本身不够精确。官方说明指出这一分类由粗略的自动方法产生，并提示其可靠性有限；因此两组之间并非严格的声学条件差异，跨研究比较时需留意^[4]。语料只覆盖英语，也限制了它在多语言或跨语言研究中的适用性^[10]。

另一项局限在评测本身。参考转写统一去掉了标点并转为大写，因此该基准不考察系统输出大小写、标点与数字格式的能力^[10]。此外，随着先进模型把 test-clean 的词错误率压到 2% 以下，这一子集已趋于饱和，系统之间的差距常落在统计波动的范围内，区分度更高的 test-other 成为主要参照^[10][5]。

参见

• 自动语音识别 —— LibriSpeech 最主要的服务对象，用于训练与评测识别系统。

• 词错误率 —— 在该数据集上衡量识别准确度的通用指标。

• Kaldi —— 与该语料一同发布、用于复现基线系统的开源语音工具包。

• LibriVox —— 语料音频的原始来源，由志愿者录制公共领域有声书。

• 古腾堡计划 —— 语料参考转写所依据的公共领域电子书文本来源。

• LibriTTS —— 由 LibriSpeech 原始素材加工而成、面向语音合成的后续语料。