CosyVoice 2

定义

CosyVoice 2 是阿里巴巴通义实验室语音团队推出的语音合成(text-to-speech)模型，属于 CosyVoice 系列的第 2 代，模型规模为 0.5B，以 CosyVoice2-0.5B 的名称在开源社区发布^[1]。它的目标是让机器把文本转成接近真人水准的语音，同时把生成延迟压到可用于实时交互的水平^[2]。

与前代一样，该模型把语音中的语义信息与声学信息分开建模，因而可以用一小段参考音频完成零样本音色复制，包括跨语言与混合语言的场景^[1]。官方技术报告将其定位为一种可扩展的流式语音合成模型，强调在流式模式下合成质量与离线模式基本一致^[3]。

原理

CosyVoice 2 沿用「语言模型＋流匹配」的两段式框架。文本先由基于字节对编码的分词器处理，不再依赖字素到音素的转换前端；文本-语音语言模型只负责语义层面的映射，把文字 token 逐级解码为有监督的语义语音 token^[4]。这一步的语言模型主干直接以预训练的文本大语言模型初始化，团队使用的是 Qwen2.5-0.5B，因此省去了独立的文本编码器与随机初始化的 Transformer^[1]。

第二阶段由流匹配模型把语义 token 还原为梅尔频谱，音色等声学细节通过说话人嵌入与参考语音注入；最后由预训练声码器恢复相位，生成波形^[4]。为了支持流式输出，这一阶段被设计成块感知的因果流匹配结构，可以对尚未到达的后续文本做掩码处理，从而边接收文字边解码音频，同一套权重既能跑流式也能跑非流式^[3]。

语音分词环节的一项改动是把矢量量化(VQ)换成有限标量量化(FSQ)。按技术报告给出的数据，原方案使用 4096 大小的码本而实际激活约 963 个，改用 FSQ 后码本扩大到 6561 且全部被使用，语音信息的保留量随之提高^[2]。团队把码本利用率不足视为前代发音不够稳定的原因之一，FSQ 也是 2.0 版在字错误率上改善的主要技术来源^[1]。

训练分阶段进行：语音分词器先在大量中英文语音上训练，语言模型与流匹配解码器再在中、英、日、韩等多语言语料上预训练，之后加入带指令标注的语音数据以获得情感与风格控制能力，并用直接偏好优化结合字错误率与说话人相似度指标做后训练^[5]。

发展历程

CosyVoice 初代由阿里巴巴通义实验室语音团队于 2024 年 7 月开源，采用监督离散语音 token 与渐进式语义解码，主打多语言、零样本与指令可控的语音生成^[1]。初代的局限在于只能在非流式模式下运行，生成完整音频后才能输出，端到端延迟难以满足实时对话的需要^[6]。

2024 年 12 月，团队发布 CosyVoice 2.0 并开源代码与 0.5B 预训练权重，技术报告以《CosyVoice 2: Scalable Streaming Speech Synthesis with Large Language Models》为题于 2024 年 12 月 13 日提交至 arXiv^[3]。同月的技术博客给出的对照数据显示，新版本在流式模式下首包延迟约 150 毫秒，发音错误率较 1.0 下降 30% 至 50%，自然度 MOS 评分由 5.4 升至 5.53^[7]。

进入 2025 年后，CosyVoice 2 被接入商用云服务。阿里云智能语音交互的声音复刻服务于 2025 年 4 月 14 日升级到 CosyVoice 2.0，此后新复刻的音色默认由该版本生成。阿里云人工智能平台 PAI 也提供了 CosyVoice 2.0 的 WebUI 部署模板与 API 接口，供开发者在云端搭建推理服务。后续 CosyVoice 3 面向更复杂的真实场景，把语言覆盖与方言、情绪数据进一步扩大^[8]。

应用

零样本音色复制的典型用法是给出一段参考音频和对应文本，模型即可用该音色朗读任意新文本，无需针对目标说话人重新训练。官方示例覆盖中文、英文、日文、韩文以及粤语、四川话、上海话等方言，并支持跨语言与语码转换场景下的克隆^[9]。

在云服务侧，该模型被用于智能语音交互中的声音复刻，复刻得到的音色可在同一服务内调用合成接口。部署文档列出的适用场景包括客服对话、有声书朗读与短视频配音，模型还支持通过自然语言指令调整情绪、口音与角色风格。

流式能力使其可嵌入对响应时间敏感的交互系统。由于语言模型与流匹配模块都支持逐块推理，系统在收到少量文字后即可输出首段音频，适合语音助手、实时字幕配音一类需要边说边生成的场合^[7]。开源权重与配套推理代码则让研究者能够在本地复现实验结果或进行领域微调，社区中也出现了面向粤语、越南语等语种的微调版本^[10]。

局限

技术报告在局限性一节承认，CosyVoice 2 支持的语言数量有限，对于字符集高度重叠的语言，合成表现会下降，日语转中文等场景尤其明显，这是官方列为待解决的问题^[4]。后续的 CosyVoice 3 报告也把语言覆盖、领域多样性与文本格式多样性列为 2 代的主要短板^[8]。

控制能力存在边界。模型可以用文本指令调整情感、口音与说话风格，但无法通过文本指令指定音色这类声学特征，音色仍需由参考音频确定；官方同时指出模型在歌唱任务上表现不佳^[4]。

合成效果对参考音频的质量较为敏感。零样本克隆依赖参考片段中的说话人特征，背景噪声、过短时长或语速不稳的参考音频都会影响音色还原与断句自然度，实践中通常需要数秒干净、语义完整的录音才能得到稳定结果^[11]。

指标层面也需谨慎解读。官方引用的 MOS 5.53 来自主观听测，评分会受听者偏好与测试集构成影响；而发音错误率下降 30% 至 50% 的对比基准是 CosyVoice 1.0，并不直接等同于对其他系统的优势^[7]。

参见

• 语音合成 —— 把文本转换为可听语音的技术领域，是本词条所属的任务类型。

• 流匹配 —— CosyVoice 2 用于把语义 token 还原为梅尔频谱的生成模型。

• 大语言模型 —— 模型以预训练文本大语言模型作为语义解码主干。

• 矢量量化 —— 前代使用的语音离散化方法，2 代以有限标量量化替代。

• 声码器 —— 把梅尔频谱还原为波形的最后一环。

• 零样本学习 —— 无需额外训练即可复制参考音频音色的能力基础。