FunAudioLLM

定义

FunAudioLLM是一组面向语音理解与语音生成的语音基础模型，由阿里巴巴通义实验室研发并开源，用于改善人与大语言模型之间的语音交互效果^[1]。按最初的技术报告，该系列包含2个核心模型：SenseVoice承担语音理解，CosyVoice承担语音生成，二者各自独立发布，并通过与大语言模型配合完成完整的语音交互流程^[1]。

SenseVoice覆盖自动语音识别、语种识别、情感识别与音频事件检测等任务，并分为侧重低延迟的Small版本与侧重精度的Large版本^[2]。CosyVoice则提供多语种语音合成、零样本音色克隆、跨语种克隆与指令控制等能力^[3]。相关代码、预训练模型与微调脚本在魔搭社区、Hugging Face与GitHub发布^[4]。

该名称后来也用于指代这一系列持续扩展的模型家族。通义百聆系列在原有两款模型之外新增了端到端语音交互模型，原有模型亦迭代出多个版本^[5]。

原理

SenseVoice-Small采用非自回归的纯编码器结构。输入波形先被转换为80维对数梅尔滤波器组特征，经堆帧与6倍下采样后送入带记忆机制的自注意力编码器；识别语种、情感、音频事件、是否做逆文本归一化等任务，通过在语音特征前拼接相应的任务嵌入来表示，模型据此在同一次前向计算中输出多类结果^[1]。SenseVoice-Large改用编码器-解码器结构，以自回归方式解码，在更多语种上追求更高精度^[2]。

CosyVoice沿用语义与声学分离建模的思路：先由语音量化编码器把语音离散为受监督的语义标记，再由文本到语音的语言模型根据文本生成语音标记序列，接着用基于常微分方程的扩散模型（流匹配）把标记还原为梅尔频谱，最后由HiFTNet声码器合成波形。训练时使用的语音量化编码器、语言模型与流匹配模块可以按场景替换，跨语种合成与指令控制在此基础上实现^[3]。

在应用层面，FunAudioLLM采取拼接式流程：SenseVoice把用户语音转写为文本并给出情感与事件标签，大语言模型据此生成回复文本，CosyVoice再把文本合成为带指定音色和情感的语音，从而形成语音到语音的闭环^[6]。2025年12月发布的Fun-Audio-Chat-8B则改为端到端设计，从语音输入直接生成语音输出，不再需要识别、理解、合成三个模块依次串接。

发展历程

2024年7月，通义实验室发布并开源FunAudioLLM项目，同期公开SenseVoice与CosyVoice两个模型，配套的训练、推理与微调代码在GitHub上提供^[7]。同年7月，该项目的中英文技术报告以预印本形式发布，系统说明了两个基础模型的结构、训练数据与评测结果^[8]。

2024年8月，CosyVoice仓库加入流式推理模式与相关推理优化，并引入重复感知采样以提升语言模型输出的稳定性^[9]。2024年12月，CosyVoice 2.0开源。该版本用预训练文本大模型作为骨干，以有限标量量化替换向量量化，支持离线与流式一体化合成，首包延迟约为150毫秒；与1.0版相比，发音错误相对下降30%至50%，MOS评分由5.4升至5.53^[10]。

2025年12月，通义百聆系列推出端到端语音交互模型Fun-Audio-Chat-8B，参数规模约80亿，采用双分辨率语音表征与Core-Cocktail训练策略，在语音问答、音频理解、语音函数调用等评测集上公布成绩^[11]。据其模型说明，共享骨干以5Hz帧率处理语音，精细化头部以25Hz生成语音，GPU训练时间相比采用12.5Hz或25Hz帧率的方案减少近50%^[12]。

应用

语音到语音翻译是最直接的应用。SenseVoice识别源语言语音中的文字与情感，大语言模型完成翻译，CosyVoice用目标语言重新合成语音，同时尽量延续原说话人的音色与情感色彩^[13]。情感语音对话沿用同一链路，区别在于回复文本会参考SenseVoice给出的情绪与音频事件标签，使合成语音的语气与用户状态相匹配^[14]。

在内容生产方面，该系列被用于互动播客与有声读物：前者由大语言模型依据实时知识生成脚本，再由CosyVoice合成多角色语音；后者利用模型对文本情感和角色的分析能力，生成带有情绪起伏的朗读音频^[3]。CosyVoice的零样本克隆功能只需3至10秒参考音频即可模仿音色，也可把普通话录音转成粤语、日语或英语输出。

工程侧的使用方式包括本地部署与云端调用。模型权重可在魔搭社区与Hugging Face下载，镜像与容器方案便于在GPU实例上启动推理服务，同时也有通过云端接口调用语音识别与合成能力的途径^[14]。Fun-Audio-Chat-8B采用Apache 2.0许可证，推理约需24GB显存，训练建议使用4张80GB显卡^[11]。

局限

首批开源模型并非单一端到端系统，语音交互要依赖识别、理解、合成三段串联，模块之间的误差会累积，整体延迟也受链路中最慢环节约束。语种覆盖并不均衡：SenseVoice-Small面向中文、英语、粤语、日语、韩语5种语言，CosyVoice 1.0支持中、英、日、粤、韩5种语言的合成，报告也指出小语种数据仍显不足^[1]。

语音合成的稳定性仍有波动。有开发者在实测中指出，长文本朗读时会出现断句异常与个别字词缺漏，以自然语言指令定制音色和情绪的效果不够稳定，音色丰富度也有限^[15]。在CosyVoice 3的使用反馈中，非目标语种的合成质量在默认配置下可能明显下降，输出偶有不自然的停顿，需要多次尝试才能得到无幻觉的结果^[16]。

音色克隆能力带来使用边界问题。仅凭数秒音频即可复刻说话人音色，使合成语音的真实性难以凭听觉判断，相关讨论集中在说话人授权、内容标识与生成记录留存等合规环节^[17]。此外，开源仓库的许可证信息需要在使用前逐项核对，训练语料中的第三方语音素材也可能附带使用限制^[18]。

参见

• 大语言模型 —— FunAudioLLM的语音交互链路以其作为中间的理解与生成环节。

• 语音识别 —— SenseVoice承担的核心任务之一，并扩展出情感识别与音频事件检测。

• 语音合成 —— CosyVoice所属的技术方向，涉及声学建模与声码器。

• 零样本学习 —— CosyVoice实现少量参考音频克隆音色的方法基础。

• 流匹配 —— CosyVoice中把语音标记还原为梅尔频谱的生成模型。

• 魔搭社区 —— FunAudioLLM模型权重与在线体验的主要发布平台之一。