Whisfusion

定义

Whisfusion 是一个面向自动语音识别(Automatic Speech Recognition，ASR)的框架，属于非自回归(NAR)系统。它把预训练的 Whisper 语音编码器和文本掩码扩散解码器拼接在一起，在每个解码步骤中对整段声学上下文并行处理，从而绕开自回归解码器按顺序逐词输出的等待过程^[1]。作者称其为「首个将预训练 Whisper 编码器与文本扩散解码器融合的框架」^[2]。

该框架同时是扩散 Transformer(Diffusion Transformer)用于语音识别的一种实现，解码端输出的是整段文本而不是单个词元序列^[3]。

原理

模型由三部分组成：冻结的 Whisper 编码器负责把波形转成高层声学表示；文本扩散解码器负责生成文字；两者之间插入轻量跨注意力层作为桥梁^[4]。编码器采用 Whisper-small，含 8 820 万个参数；解码器采用 SMDM 项目的 mdm-170M 文本扩散模型；跨注意力适配器约 4 250 万个参数，占整体约 9.3%^[5][4]。

跨注意力层的运作方式可以概括为：每个文本位置的查询向量与编码器输出的全部语音特征做注意力运算，使生成每个词元时都能访问整段音频的上下文^[4]。用 $Q = XW_Q$、$K = HW_K$、$V = HW_V$ 表示，其中 $H$ 为编码器隐状态，$X$ 为解码器当前表示，则注意力输出为 $\mathrm{Attn}(Q,K,V) = \mathrm{softmax}\left(\frac{QK^{\top}}{\sqrt{d}}\right)V$^[4]。

训练采用 2 个阶段的课程式流程：第 1 阶段冻结编码器与解码器，只训练跨注意力适配器，掩码比例在 0% 至 100% 之间随机抽取，使适配器适应不同程度的文本缺损；第 2 阶段解冻解码器，用逐层学习率衰减做整体调优，并针对高掩码比例样本做专门强化，以贴合推理时从全掩码状态起步的设定^[4]。

解码环节使用并行扩散解码(Parallel Diffusion Decoding，PDD)：一次并行产生 $k$ 个候选草稿，随后在若干 refinement 步骤中按固定比例 $\rho_t$ 随机掩掉部分词元让模型重新预测，最后按平均词元置信度打分，取分数最高的序列作为结果^[3]。整个过程可表示为若干次「掩码—去噪—重排」，而非从左到右的单向推进。

发展历程

相关论文于 2025 年 8 月 9 日提交至预印本平台，初版题为《Whisfusion: Parallel ASR Decoding via a Diffusion Transformer》^[1]。同月在论文聚合站点上线，作者共 10 人，包括 Taeyoun Kwon、Junhyuk Ahn、Taegeun Yun、Heeju Jwa、Yoonchae Choi、Siwon Park、Nam-Joon Kim、Jangchan Kim、Hyun Gon Ryu 与 Hyuk-Jae Lee^[6]。

初版工作主要在英文 LibriSpeech 的 960 小时训练集上微调，对照基线为 Whisper-tiny、Whisper-small 与 Whisper-large-v3-turbo^[3]。此后论文更新为第 2 版，标题改为《Whisfusion: Parallel ASR Decoding with Masked Diffusion》，改写为在冻结的 Whisper-large-v3 音频嵌入之上从头训练掩码扩散解码器，训练数据扩展到约 6.8 万小时、11 种语言，并加入高掩码比例专门化训练^[1]。

随论文公开的还有 Hugging Face 上的模型权重与配套代码，权重以 Apache 2.0 许可发布，包含第 2 阶段完整模型和第 1 阶段适配器两个检查点^[5]。

应用

框架面向对延迟敏感的语音识别场景。论文将实时字幕和会议转写列为主要用途，因为这类任务对首字延迟和长段落处理时间较敏感^[6]。

在初版实验中，Whisfusion 在 LibriSpeech 上的词错误率(WER)为 8.3%，低于 Whisper-tiny 的 9.7%；解码吞吐超过 3 100 词元每秒，约为对应自回归方案的 13 倍以上^[3]。对超过 20 秒的较长语音，其速度可达自回归基线的 2.6 倍。

第 2 版进一步报告其在英语、欧洲语言和 CJK 基准的组平均准确率上超过 Whisper-large-v3，速度提升 4 至 5 倍；同时吞吐与准确率均高于 Whisper-turbo，与 Canary、Qwen3-ASR 的准确率相近但快 3 至 7 倍^[1]。

局限

消融实验显示，去掉跨注意力适配器后，即使只掩掉参考转写中 30% 的词元，模型输出的词错误率也会升至 150.8%，说明该架构高度依赖声学条件输入，离开音频引导几乎无法生成有效文本^[3]。

PDD 的收益部分依赖候选数量：将候选数 $k$ 从 5 提高到 15 可使词错误率由 9.1% 降至 8.3%，但代价是显存占用上升，速度基本持平于 0.017 至 0.021 的实时率区间^[3]。基于置信度的候选选择在 68.7% 的情况下挑中最佳候选，与实际可达的 Oracle 词错误率 5.9% 相比仍有 2.4 个百分点的差距^[3]。

训练与评测的硬件条件为 4 块 NVIDIA A100 显卡，模型最大长度为 256 个词元，覆盖范围受此上限约束^[3]。初版结论仅在 LibriSpeech 英文朗读语料上验证，第 2 版虽扩展到 11 种语言，但公开结果仍以论文自报的基准对比为主，尚无独立第三方复现数据^[1]。

参见

• Whisper —— Whisfusion 的语音编码器来源，也是其主要对照基线。

• 扩散模型 —— Whisfusion 解码端所依据的生成式建模方法。

• Transformer —— 编码器与扩散解码器共同采用的网络主干。

• 自动语音识别 —— Whisfusion 所属的任务领域。

• 词错误率 —— 论文衡量转写准确度的核心指标。