FireRedASR
定义
FireRedASR 是一组面向普通话场景设计的大规模端到端自动语音识别模型，属于 FireRed 系列模型中的语音识别分支。按照发布方的说明，该系列的目标是在识别精度与推理成本之间提供不同配置，供实际业务按需选择。
该系列分为两个版本。FireRedASR-AED 采用基于注意力机制的编码器-解码器结构，参数量约 1.1B，定位于兼顾效果与算力开销，也可作为其他语音模型的声学表征模块；FireRedASR-LLM 采用编码器-适配器-大语言模型结构，参数量约 8.3B，定位于追求更高识别准确率与端到端语音交互[1]。
在公开普通话测试集上，FireRedASR-LLM 与 FireRedASR-AED 的 4 项平均字错误率分别为 3.05% 与 3.18%，发布方同期公布的对照系统中，Seed-ASR 为 3.33%，Qwen-Audio 为 6.19%，Whisper-Large-v3 为 9.86%[1]。除普通话外，模型也覆盖汉语方言与英语语音，并在歌唱歌词识别任务上给出评测结果。
原理
两个版本的输入处理与声学编码基本一致。音频被切成 25 毫秒窗长、10 毫秒帧移的片段，提取 80 维对数梅尔滤波器组特征，再做全局均值方差归一化；编码器由下采样模块与多层 Conformer 模块组成，下采样把帧率由 10 毫秒降为 40 毫秒，Conformer 模块内部同时使用多头自注意力与一维深度卷积，以兼顾语音的全局与局部依赖[2]。
FireRedASR-AED 的编码器由两层步长为 2 的卷积完成下采样，卷积核长度为 33；解码器采用标准 Transformer 结构，包含自注意力、交叉注意力与前馈层，并使用正弦位置编码与输入输出词嵌入权重共享。文本端采用混合切分方式，中文按汉字、英文按字节对编码(Byte-Pair Encoding)处理，词表规模为 7832，其中含 1000 个英文子词与 6827 个汉字。
FireRedASR-LLM 复用前一版本的声学编码器作为初始化，通过由线性层、ReLU 与线性层组成的适配器把声学特征投影到语言模型的嵌入维度，并用帧拼接把帧率由 40 毫秒进一步降到 80 毫秒；语言模型部分以 Qwen2-7B-Instruct 为底座，训练时编码器与适配器全量更新，语言模型一侧采用低秩适配(LoRA)微调，损失只计算转写文本部分[2]。
训练数据的组织方式是该模型公布的要点之一。语料约 7 万小时，以普通话为主，其中大部分由专业标注员人工转写，另含约 1.1 万小时英语语音用于提升英文识别能力。AED 版本还采用渐进式正则化训练策略：初期不使用丢弃与 SpecAugment 等正则手段以获得较快收敛，待过拟合迹象出现后再逐步加强正则强度[2]。
发展历程
2025 年 1 月 24 日，发布方公开技术报告、项目博客以及 FireRedASR-AED-L 的模型权重，论文以预印本形式提交，作者为 Kai-Tuo Xu、Feng-Long Xie、Xu Tang、Yao Hu 四人。同年 2 月 17 日，FireRedASR-LLM-L 的模型权重发布，两个版本至此全部开放下载[1]。
2026 年 2 月 12 日，发布方推出第二代系统 FireRedASR2S，除识别模块 FireRedASR2 外，还整合了语音活动检测 FireRedVAD、语种识别 FireRedLID 与标点预测 FireRedPunc，并公开各模块权重与推理代码[3]。据其技术报告，FireRedASR2 的训练数据由约 7 万小时扩展到约 20 万小时，FireRedASR2-LLM 在 4 个公开普通话测试集上的平均字错误率为 2.89%，在 19 个方言与口音测试集上为 11.55%[4]。
第二代发布后，相关工程适配陆续出现：2026 年 2 月 13 日，FireRedASR2-AED 获得 TensorRT-LLM 推理加速支持，该工作由英伟达贡献，在 AISHELL-1 测试集上相对 PyTorch 基线约有 12.7 倍加速；2 月 25 日，FireRedASR2-LLM 权重公开。
应用
开源权重与推理代码使该模型可被第三方集成。火山引擎的 AI 数据湖服务提供了名为「语音转文字（FireRed）」的算子，可调用 FireRedASR-AED-L 与 FireRedASR-LLM-L 两个模型，支持中英文及中文方言识别，输入要求为单声道、16 kHz 采样率的 wav 音频；其文档建议 AED 模型处理不超过 60 秒的音频，LLM 模型不超过 30 秒。
在客户端软件方面，有第三方语音输入工具把 FireRedASR2 的 CTC 与 AED 变体列入本地离线识别选项，前者偏向速度，后者偏向长句准确度[5]。也有开源项目将其作为智能音箱桥接服务中的语音识别后端之一。
从任务类型看，该系列面向的是把语音转成带正确文字的文本，其公布的评测还覆盖短视频、直播、智能助手等来源的普通话语音，以及方言与歌唱歌词转写。第二代系统进一步把转写流程扩展为语音活动检测、语种识别、识别、标点恢复的串联管线，并输出带词级时间戳、语种标签与置信度的结构化结果。
局限
该系列以普通话为主要优化对象，其公开评测集中于中文场景，英文识别虽被纳入，但在 LibriSpeech test-clean 与 test-other 上，FireRedASR-LLM 的词错误率分别为 1.73% 与 3.67%，其中 test-clean 一项高于发布方列出的此前最优结果 1.82% 与 3.50%[1]。
输入时长受到限制。官方使用说明指出，LLM 版本单条语音过长会影响效果，在批量波束搜索时若各条语音长度差异较大，较短语音可能出现重复输出，建议按长度排序或把批大小设为 1。云服务文档同样给出了 30 秒与 60 秒的时长建议。
工程部署上也有约束。第二代代码仅在 Linux Ubuntu 22.04 上测试，其他 Linux 发行版与 Windows 的行为未经测试；FireRedASR2-AED 处理超过 60 秒的音频可能出现幻觉，超过 200 秒会触发位置编码错误，FireRedASR2-LLM 的可处理上限为 40 秒且更长输入未经测试。
此外，FireRedASR-LLM 约 8.3B 的参数规模意味着更高的显存与算力需求，发布方因此另设了参数量更小、以效率为目标的 AED 版本。模型本身只完成语音到文本的转写，标点恢复、语种判定、语音端点检测在初代中并非内置能力，这些功能是在第二代系统里才作为独立模块补齐的。
参见
参考资料
- FireRedTeam/FireRedASR-AED-L · Hugging Face [引用日期2026-10-29]
- alphaxiv.org 上的网页 [引用日期2026-10-29]
- allendou/FireRedASR2-LLM-vllm · Hugging Face [引用日期2026-10-29]
- github.io 上的网页 [引用日期2026-10-29]
- VoxType [引用日期2026-10-29]