OpenSLR

定义

OpenSLR(Open Speech and Language Resources)是一个专注于托管语音与语言资源的站点，内容既包括语音识别所需的训练语料，也包括与语音识别有关的软件^[2]。站方将其定位为供人存放自建资源、并让公众自由下载的集中场所，同时希望成为其他站点软件与数据的备用镜像来源^[2]。

该平台上的每一项资源都带有一个编号标识，如 SLR12、SLR94，页面会列出资源名称、简介、类别与许可协议，并给出文件列表及多个镜像的下载入口^[4]。资源类别以“语音”为主，也包含文本、软件以及手写体等其他类型^[5][3]。

原理

OpenSLR本身并不训练模型，其运行方式是资源托管与分发。贡献者先把数据整理成一个只含文件、不含子目录的压缩包，再附上 info.txt 与 about.html 两个描述文件；前者包含名称、摘要、类别、许可协议和文件列表等必填字段，后者则用于生成资源页面中的说明部分^[5]。站方收到文件后放到服务器上，再用脚本读取这些字段，自动为每个资源生成访问页面^[5]。

由于语音语料体量很大，站点主要依赖镜像与外部托管来分担带宽。主站之外设有中国镜像，欧洲镜像由 ELDA 提供，下载页面会为每个文件列出美国、欧洲、中国等不同入口^[2][1]。对于体积特别大的数据，页面会注明数据并未存放在本站，而需跳转到发布方提供的存储位置获取，例如多语言 LibriSpeech 语料便以这种方式分发^[4]。

站点对下载行为设有并发限制，同一来源同时建立的连接超过 5 个会被防火墙断开，因此推荐逐个文件下载^[2]。

flowchart LR

A[贡献者打包数据与描述文件] --> B[站方审核并上传服务器]

B --> C[脚本解析 info.txt 生成资源页]

C --> D[主站及各地镜像分发]

D --> E[研究者下载用于模型训练]

发展历程

OpenSLR 是约翰斯·霍普金斯大学语言与语音处理中心(CLSP)发起的一项计划^[1]。站点建立初期的一项重要工作是镜像 Kaldi 脚本中所使用的一些软件，以便在原始站点不可用时提供替代下载位置^[2]。

2021 年 11 月，欧洲语言资源协会(ELDA)开设了 OpenSLR 的欧洲镜像；据其 2022 年 1 月发布的公告，当时库内已有 113 项资源，总量接近 2 TB，涵盖大量语言，其中包括资源稀缺的语言^[1]。

中国镜像由 Magic Data 提供^[2]。此后资源编号持续增长，从早期以英语语料为主，扩展到多语种、多任务数据，编号已排至 SLR148 及更后^[6][3]。

应用

平台最常被引用的资源之一是 LibriSpeech，它由 Vassil Panayotov 在 Daniel Povey 协助下制作，基于 LibriVox 有声读物，提供约 1000 小时、16 kHz 的朗读英语语音，并被切分对齐，配套的声学模型与语言模型也可获得^[7]。该语料常被用作语音识别系统的训练与评测基准。

多语种数据方面，多语言 LibriSpeech(MLS)从 LibriVox 有声书中整理出英语、德语、荷兰语、西班牙语、法语、意大利语、葡萄牙语和波兰语 8 种语言，每种语言都划分训练、开发与测试集，并包含 10 小时、1 小时乃至 10 分钟的少量标注子集，可用于低资源条件下的研究^[4]。

资源稀缺语言与特定任务数据同样是收录重点。平台上有僧伽罗语、孟加拉语、尼泊尔语等大型语音识别训练集，也有巴斯克语、加利西亚语、泰米尔语等众包录制的高质量数据；此外还收录汉语说话人识别语料 CN-Celeb、维语数据库 THUYG-20、哈萨克语语料 KSC，以及用于发音评测的 speechocean762^[8][3]。

语音合成研究也可从中取用数据，例如面向爪哇语的高质量 TTS 语料由 Google 与加查马达大学合作采集，采用 CC BY-SA 4.0 协议发布^[9]。多数数据集以逐条语音加转写文本的形式组织，文件与文本索引表一一对应，便于直接接入训练流程^[10]。

局限

平台的定位是托管而非治理。各资源的许可协议并不统一，有的采用知识共享署名协议，有的采用 Apache 协议，使用前需逐项核对^[1]。语料质量也由发布方自行保证，页面会提示数据虽经人工检查，仍可能存在错误^[10]。

托管能力受体积制约。站方对体量极大（如数十 GB 以上）的数据会更为慎重，部分大型语料索性不在站内保存，改由发布机构的外部存储分发，用户需另行处理访问与配额问题^[5][4]。下载并发连接数的限制也使其不适合大规模自动化抓取^[2]。

资源内容以各发布者提交为准，平台不提供统一的评测协议或基线成绩，不同数据集的录音条件、标注规范与说话人分布差异较大，跨语料比较时需要额外说明^[2][3]。

参见

• LibriSpeech —— OpenSLR 上被广泛使用的英语朗读语音识别语料。

• Kaldi —— 开源语音识别工具包，OpenSLR 早期曾镜像其脚本所用软件。

• 语音识别 —— OpenSLR 收录语料的主要服务对象。

• 语音合成 —— 平台亦收录面向 TTS 训练的多说话人语料。

• 约翰斯·霍普金斯大学 —— OpenSLR 计划的发起机构所在学校。

• 欧洲语言资源协会 —— 为该平台提供欧洲镜像的机构。