SenseVoice

定义

SenseVoice 是一种面向语音理解任务的语音基础模型，输出不限于文字转写，还包括语种标签、情感标签与声音事件标签。按其技术报告的划分，模型共有两项能力被明确列为组成任务：自动语音识别(ASR)与语种识别(LID)，以及语音情感识别(SER)与音频事件分类或检测(AEC/AED)^[1]。

项目同时提供两种规格。SenseVoice-Small 是只含编码器的模型，面向低延迟的多语言、多风格识别；SenseVoice-Large 采用编码器-解码器结构，覆盖语种更多、精度更高^[1]。公开权重与训练、推理、微调代码以工程形式发布，主要依托 FunASR 工具链调用。

原理

SenseVoice-Small 的处理流程以声学特征为起点：输入波形先被转换为 80 维对数梅尔滤波器组特征，随后对相邻帧做堆叠并以 6 倍比例下采样，再经线性映射送入编码器^[1]。编码器采用带记忆模块的自注意力网络(SAN-M)，在特征序列上输出逐位置的词表概率分布，因而不需要自回归解码^[1]。

多任务能力通过前置的特殊嵌入实现。模型在语音特征序列前拼接 4 个嵌入向量，分别指定语种、情感、音频事件与逆文本规整等任务，编码器据此在对应位置输出相应标签；因此同一套参数可在一遍前向计算中给出转写、情感与事件结果^[1]。

上述公式中 $\mathbf{X}\in\mathbb{R}^{(T+4)\times D}$ 为拼接任务嵌入后的输入，$\mathbf{P}\in\mathbb{R}^{(T+4)\times|V'|}$ 为包含识别与其他任务标记的词表概率，$T$ 为下采样后的特征长度，$D$ 为编码器维度^[1]。由于整段特征一次前向即得输出，序列长度增加时推理耗时的增长相对平缓^[2]。

发展历程

2024 年 7 月，阿里巴巴通义实验室发布语音大模型项目 FunAudioLLM，其中语音理解部分即 SenseVoice，语音生成部分为 CosyVoice；同一时期 SenseVoice-Small 的多语言版本对外开源，支持中文、粤语、英语、日语和韩语^[1]。2024 年 7 月 4 日，包含两个模型设计细节的技术报告以预印本形式公开^[1]。

开源之后，项目在部署侧持续扩展。2024 年 7 月增加了 ONNX 与 libtorch 导出能力，并配套发布 Python 运行时包^[2]。此后社区与官方又相继提供 OpenVINO、Triton 以及基于 GGML 的纯 C/C++ 推理方案，使模型可在 iOS、Android、树莓派等边缘设备上运行^[3][4]。

在工具链层面，SenseVoice 被纳入 FunASR 生态，与语音端点检测模型、说话人模型组合后，可构成带说话人分离的转写流程；针对超长音频，仓库还给出不依赖端点检测、以固定窗口切分推理的参考脚本。

应用

SenseVoice 的直接用途是自动转写。官方在 AISHELL-1、AISHELL-2、WenetSpeech、LibriSpeech 与 Common Voice 等公开基准上，将其与 Whisper 系列做了识别效果与效率对比，结果显示在中文和粤语测试集上具有优势^[2]。

由于输出带有情感与事件标记，模型可用于需要副语言信息的场景。情感标签覆盖高兴、悲伤、愤怒、中性、恐惧、厌恶、惊讶等类别，事件标签覆盖背景音乐、语音、掌声、笑声、哭声、喷嚏、呼吸与咳嗽等类别，这些标签可作为下游分析的结构化输入^[3]。

在与大语言模型结合时，SenseVoice 承担语音到文本的理解环节。FunAudioLLM 技术报告列出的组合应用包括语音到语音翻译、情感语音对话、互动播客与有声读物朗读，其中理解端由 SenseVoice 提供转写与情感信息^[1]。工程上，模型可通过 FunASR 的接口以多并发服务形式部署，客户端语言覆盖 Python、C++、HTML、Java 与 C# 等^[2]。

局限

音频事件检测并非该模型的专长。虽然它只在语音数据上训练，仍可单独用作事件检测器，但在环境声分类数据集 ESC-50 上，其表现与 BEATS、PANN 等专门模型相比仍有差距，项目方将其归因于训练数据与训练方式的限制^[2]。

直接推理接口对输入长度设有限制，单次调用一般要求音频不超过 30 秒；处理长音频需借助语音活动检测进行切分，或采用带重叠窗口的脚本，而固定切点仍可能影响切分边界附近的识别质量。

此外，训练数据规模在不同来源中表述不一，官方仓库写作超过 40 万小时，技术报告则写为 30 万小时以上，具体口径需以各自文本为准^[2][1]。情感识别的评测也缺少被广泛采用的统一指标与方法，相关对比结论依赖各研究自选的测试集^[2]。

参见

• Whisper —— 同类开源语音识别模型，SenseVoice 的基准对比对象之一。

• CosyVoice —— 与 SenseVoice 同属 FunAudioLLM 项目的语音生成模型。

• 自动语音识别 —— SenseVoice 承担的核心任务。

• 语音情感识别 —— 模型通过任务嵌入完成的副语言理解任务。

• FunASR —— 承载 SenseVoice 推理、微调与部署的开源语音工具包。