FishSpeech
FishSpeech（Fish Speech）是 Fish Audio 团队开发并开源的一系列文本到语音合成模型，用于把文字转换为自然语音，并支持凭短片段参考音频克隆音色。该系列以不依赖音素的建模方式、多语言合成能力和较快的推理速度引起开发者关注，代码与模型权重公开，但其最新版本采用限制商业用途的自定义许可协议。
定义
FishSpeech 是 Fish Audio 开发的一套文本到语音（TTS）合成模型，输入文字即可输出语音波形，同时支持用一段参考音频指定合成音色[1]。它的代码库与模型权重公开发布，使用者可以本地部署、微调，也可以自行接入应用程序[2]。与传统流水线式语音合成不同，该系列模型不依赖音素转换环节，而是借助大语言模型提取文本的语言特征，从而把多种语言放进同一套建模流程[3]。
原理
FishSpeech 采用串行快慢双自回归（Dual-AR）结构。慢速 Transformer 沿时间轴工作，负责从文本嵌入中提取全局语言结构并预测语义码本；快速 Transformer 在每个时间步补齐其余残差码本，重建细粒度的声学细节[1]。以 S2 Pro 为例，慢速部分约 40 亿参数，快速部分约 4 亿参数，这种不对称设计在保持音频保真度的同时控制推理开销[4]。
在量化环节，该框架提出分组有限标量向量量化（GFSQ），用它将潜在条件编码压缩，减少码本的存储与计算负担，并通过相应的 FF-GAN 结构提高压缩比与码本利用率[3]。较新的 S2 版本改用基于 Qwen3 的主干网络和 ModifiedDAC 音频编解码器，输出 44.1 千赫兹音频，并用分组相对策略优化（GRPO）做后训练对齐[4]。
语音克隆依靠模型学到的内容与音色分离能力实现：文本侧产生与说话人无关的语义表示，编解码器再把参考音频中的说话人特征与该表示结合，重建波形，因此无需针对特定说话人重新训练[5]。
发展历程
Fish Audio 团队在开源语音转换与合成领域已有积累，Fish Speech 作为其文本到语音模型于 2023 年首次发布，最初支持中文、英文、日文[6]。2024 年 7 月发布的 1.2 版本引入无音素模式与自动重排机制，同年 9 月发布的 1.4 版本改用新的 VQGAN 架构以改善音质与推理速度[7]。
1.4 版本的模型在约 70 万小时多语言音频上训练，支持英语、中文、德语、日语、法语、西班牙语、韩语和阿拉伯语[8]。2024 年 12 月 21 日发布的 1.5 版本训练数据超过 100 万小时，语言扩展到 13 种，并增加按哈希缓存参考音频等功能[7]。2025 年 5 月 27 日的 1.5.1 版本补充了 ONNX 导出支持并改进了阿拉伯语、希伯来语文本处理[7]。
此后该系列进入 S2 阶段。S2 的预发布版本以 Qwen3 为主干替换了 1.5 版本的架构，训练音频超过 1000 万小时、覆盖约 50 种语言，并以研究许可协议发布[4]。
应用
FishSpeech 的常见用途之一是有声书、播客与视频配音等内容制作，多语言版本内容可以共用同一套音色以减少重复录制。它也用于个性化语音助手、语音交互类应用的语音输出环节。
由于模型可本地部署、数据不出本机，它也被用于对数据流向有要求的私有化项目和企业内部系统。在辅助技术方面，该模型可为视力障碍或阅读障碍用户提供文本朗读能力，也可为学习材料配音。
S2 Pro 支持在文本中插入形如 [whisper]、[excited] 的自然语言标签，在词级别控制语气与韵律，并原生支持多说话人与多轮对话生成，这类能力主要面向实时语音代理场景[2]。其官方的 SGLang 推理路径在单张 H200 上报告实时率 0.195、首音频延迟约 100 毫秒[4]。
局限
FishSpeech 对硬件要求较高。官方推理文档建议使用至少 24 GB 显存的 GPU 运行 S2 模型，不支持 bf16 的显卡还需改用半精度参数，在消费级显卡上容易出现显存不足或速度偏慢的情况。社区反馈显示，4B 规模的 S2 Pro 在 16 GB 显存显卡上难以完整加载，量化后仍可能占用 20 GB 以上显存[9]。
推理速度与运行环境关系密切。相关实测表明，其低延迟指标依赖 SGLang、torch.compile 与数据中心级显卡的组合，在消费级 GPU 上未做加速时，首音频延迟与实时率表现明显弱于同等条件下的小型开源模型[10]。同一份反馈还提到，在 Windows 上运行速度偏慢，改用 Linux 环境后提升明显[9]。
许可限制是另一项约束。当前代码与权重采用 Fish Audio 研究许可协议，研究与非商业用途可免费使用，任何商业用途都需要另行获得书面授权，且不得用其输出训练或改进其他基础生成式模型[11]。早期版本曾采用源码 Apache 许可、权重 CC-BY-NC-SA-4.0 的组合，与现行条款不同[12]。
参见
参考资料
- arxiv.org 上的网页 [引用日期2026-10-14]
- fish-speech [引用日期2026-10-14]
- huggingface.co 上的网页 [引用日期2026-10-14]
- fishaudio/fish-speech v2.0.0-beta on GitHub [引用日期2026-10-14]
- Fish Speech 1.5无音素零样本多语言语音克隆模型-开发者社区-阿里云 [引用日期2026-10-14]
- Fish Audio [引用日期2026-10-14]
- changelog [引用日期2026-10-14]
- fishaudio/fish-speech-1.4 · Hugging Face [引用日期2026-10-14]
- github.com 上的网页 [引用日期2026-10-14]
- huggingface.co 上的网页 [引用日期2026-10-14]
- LICENSE [引用日期2026-10-14]
- Fish Speech [引用日期2026-10-14]