FunASR

定义

FunASR 是一套面向语音处理的开源工具包，由 阿里巴巴达摩院语音实验室研发并对外开源^[1]。它的定位并不是单一的识别模型，而是把数据准备、模型训练、微调、推理和服务部署连成一体的工程框架，同时提供一批在工业数据上预训练的模型供直接调用^[1][3]。

在功能上，它涵盖自动语音识别、语音活动检测(VAD)、标点恢复、语言模型、说话人确认与说话人分离以及多说话人识别等环节，这些能力以模块形式组合成流水线^[4]。开发者通过统一的模型调用接口指定若干子模型，即可由一段音频得到带时间戳、带标点乃至带说话人标签的文本^[5]。

原理

工具包的技术核心是 Paraformer 模型，它属于单步非自回归(NAR)的端到端识别结构，由预测器(predictor)与采样器(sampler)两部分组成^[1]。预测器负责把输入语音编码为声学嵌入，训练阶段的采样器会随机把目标词嵌入混入其中，使模型学会词与词之间的依赖关系；推理阶段采样器不再参与，声学嵌入一次前向即可输出整句结果，因此延迟明显低于逐词生成的自回归模型^[1]。

在此基础上，研究团队改造了预测器结构，引入转置卷积层与 LSTM 层对编码器输出上采样，再对连续整合激发(CIF)权重做后处理，从而在不额外挂接对齐模型的情况下直接给出字级时间戳^[1]。工具包还提供名为 TP-Aligner 的对齐模型，输入语音与对应文本即可输出时间戳，作用类似于传统的强制对齐^[1]。

工程侧，FunASR 支持通过 ONNX、libtorch 和 TensorRT 等不同后端在 CPU、GPU 以及移动端上推理，并借助量化手段压缩模型以加快运行速度^[1]。长音频处理通常先经基于前馈顺序记忆网络的 FSMN-VAD 切分，再由识别模型转写，最后由基于可控时间延迟变换器的 CT-Transformer 补上标点^[2]。

flowchart LR

A[原始音频] --> B[FSMN-VAD 语音活动检测与切分]

B --> C[Paraformer 编码器]

C --> D[预测器生成声学嵌入]

D --> E[解码器单步输出字符与时间戳]

E --> F[CT-Transformer 标点恢复]

F --> G[可选 CAM++ 说话人分离]

G --> H[结构化文本]

发展历程

Paraformer 论文于 2022 年在国际语音通讯协会主办的 INTERSPEECH 会议上发表，提出了快速并行的非自回归 Transformer 识别方案，为后续工具包奠定了模型基础^[6]。2023 年，团队在 INTERSPEECH 上发表 FunASR 论文，正式开源这一工具包，并同期发布在约 6 万小时普通话数据上训练的 Paraformer 模型^[2][1]。

2023 年下半年，项目密集迭代：7 月发布低延迟低显存占用的 RNN-T 变体 BAT，8 月推出一键部署的中文实时听写服务，9 月与 11 月先后更新离线文件转写服务并加入热词、时间戳与标点大模型支持，10 月发布支持长语音逐句说话人标签的 Paraformer-long-Spk 模型^[6]。同年 12 月，面向 Windows 的社区软件包首个版本发布^[6]。

2024 年 1 月，funasr 1.0 版本发布，并新增情感识别模型^[6]。同年 3 月，工具包先后接入 Whisper-large-v3 与 Qwen-Audio 系列音频文本多模态模型，使多语言识别与语音对话能力可在同一接口下调用^[6]。此后项目继续扩展模型来源，将通义实验室的 SenseVoice 与基于大语言模型的 Fun-ASR-Nano 等外部模型纳入统一调用体系。

应用

在会议与访谈场景中，工具包可以把 VAD、识别、标点与说话人分离串联，输出标注了每句话起止时间与说话人编号的转写文本，适合会议记录整理^[5]。实时字幕是另一类典型用途，流式版 Paraformer 按固定时长切块接收音频，可边输入边输出文字^[5]。

项目提供 Docker 化的服务部署方案，分为离线文件转写与实时流式转录两种服务，均支持 CPU 与 GPU 运行，便于接入生产环境^[7]。命令行与 Python 接口均可用，命令行方式指定识别、VAD、标点等模型后即可处理单个音频或 Kaldi 风格的清单文件^[4]。

除通用识别外，工具包还被用于客服通话分析、媒体字幕生成等需要批量转写的场合^[8]。部分达摩院语音模型已应用于通义听悟等产品中，构成研究成果向实际产品转化的路径之一^[2]。

局限

Paraformer 在中文识别精度上已不再是公开评测中的最优结果，部分较新的模型在 AISHELL-1 测试集上的字错误率更低；FunASR 的侧重点在于模型组合与部署能力，而非单项指标的领先。此外，工具包本身只是管理框架，各项能力由具体模型提供，不同模型的语言覆盖、是否需要 GPU 等条件并不一致，选型需按实际模型而定^[9]。

部署方面存在硬件与格式上的约束：追求更高吞吐时常需借助 GPU 与 vLLM 等加速方案，而边缘设备往往要改用 GGUF 等量化格式并牺牲部分精度。此外，预训练模型的使用受各自的模型许可协议约束，与工具包代码的开源许可并不相同，商用前需分别确认^[3]。

在中文等语言的识别任务上，工具包的开源模型主要基于普通话工业语料训练，对方言与重口音的覆盖取决于所选用模型，早期自研模型在这方面的能力有限^[1]。

参见

• Paraformer —— FunASR 的旗舰语音识别模型，采用单步非自回归结构。

• 语音识别 —— FunASR 所处理的核心任务，即把语音信号转写为文字。

• 语音活动检测 —— 用于切分长音频中的有效语音段的前端模块。

• 标点恢复 —— 为无标点的识别结果补加标点的文本后处理任务。

• 说话人分离 —— 区分音频中不同说话人的技术，FunASR 以流水线方式集成了该能力。

• ModelScope —— FunASR 预训练模型的主要托管与下载平台之一。