Fish Audio

定义

Fish Audio是一个以深度学习模型为核心的人工智能语音生成平台，主要能力包括文本转语音、语音克隆、语音转换、语音转文字以及音效与音乐生成^[1]。平台分为浏览器内的网页版工作台和面向开发者的接口两类使用方式，用户可以直接录入文字并挑选音色与模型生成音频，也可以调用接口把语音能力接入自己的产品^[1][2]。

平台所依托的模型体系与其开源项目Fish Speech同源。Fish Speech以零样本与少样本语音克隆、多语言合成和不依赖音素词典为特点，代码以宽松许可公开，模型权重则采用限制商业使用的协议发布^[3]。

原理

语音合成的基本流程是将输入文本编码为语义表示，再由声学解码器还原为音频波形。Fish Speech系列的公开说明显示，其系统在语言模型结构中整合了声学建模能力，可直接处理原始文本而无需先把文字转换成音素序列，因此在多种文字体系和混合语言文本上不需要为每种语言单独准备前端处理^[3]。

语音克隆采用零样本方式实现：用户提交一段参考音频，模型从中提取音色与说话风格特征，再按这些特征朗读新文本。公开资料给出的参考音频长度约为10至30秒，无需针对特定说话人再做微调训练^[3]。平台另设专业语音克隆(Professional Voice Clone)流程，要求上传同一说话人累计不少于10分钟的干净录音，单段建议45至60秒、不超过1分钟，训练环节耗时约10至30分钟^[4]。

在可控性方面，Fish Audio的S1模型采用括号形式的显式标记控制情绪、语气与副语言效果，官方说明列举的类别包括情绪词、语调词和笑声、叹气、哭泣等特殊标记，合计超过60种表达^[5]。该模型基于超过200万小时的多语种音频训练，并经过在线人类反馈强化学习(RLHF)后训练，官方公布的英文词错率为0.8%、字错率为0.4%^[6]。后一代S2改为理解自由形式的自然语言描述，并可一次请求生成多位说话人的对话^[5]。

平台还对语言做了自动识别处理。以第三方语音通信平台接入Fish Audio的说明为例，其模型没有单独的语言设置项，而是根据输入文本自动判断语种，其中s2.1-pro模型覆盖约83种语言。

发展历程

Fish Audio的起点是前英伟达研究人员廖世嘉(Shijia Liao)的个人项目。据媒体报道，他因不满当时合成语音在长文本、情绪表达和自然度上的表现，用单张GPU训练了语音生成模型并将其开源，项目后来以Fish Speech之名在GitHub上获得超过3.1万颗星标，使用者包括独立开发者、游戏设计者和内容创作者^[7]。另有报道称其2024年7月离开英伟达全职创业，早期模型在单张消费级显卡上完成训练。

2025年6月，Fish Audio发布OpenAudio S1模型，提供40亿参数的完整版和5亿参数的蒸馏版S1-mini，后者以开源形式发布^[8]。S1在发布时支持英语、中文、日语、德语、法语、西班牙语、韩语、阿拉伯语、俄语、荷兰语、意大利语、波兰语、葡萄牙语共13种语言^[8]。此后平台逐步扩充音色库、音效生成与语音转文字等模块^[1]。

据2026年7月的报道，Fish Audio宣布完成5200万美元种子轮融资，由Coreline Ventures与今日资本领投，公司称过去一年推出5款模型，其中4款为语音生成模型、1款为语音转文字模型，3款语音生成模型已开源，最新的S2.1 Pro仅通过付费接口提供；平台开源与托管版本的用户合计超过800万，年度经常性收入约2100万美元^[7]。同一报道提到，公司计划推出音频理解模型与语音到语音转换模型^[7]。

应用

面向个人创作者，网页版工作台把常用环节集中到同一界面：文本转语音、语音转换、语音转文字、音效与音乐生成、音频分轨，以及音色库浏览、发音词典和多说话人的长音频项目编辑工具^[1]。这类组合适用于有声书、播客、游戏角色配音和短视频旁白等需要成批生成语音的内容生产场景^[9]。

面向开发者与企业，平台提供接口与SDK，可把语音合成、转录与克隆能力嵌入第三方应用^[2]。第三方通信平台已将Fish Audio作为可选语音引擎接入，通过音色编号与模型名组合调用。此外，平台提供模型上下文协议(MCP)服务，允许AI代理在授权后读取音色库、生成语音与转录音频^[10]。

在社区一侧，平台鼓励用户上传并公开自己的音色模型：模型被他人使用时，创作者可按消耗额度获得一定比例的分成，平台由此形成规模较大的用户生成音色库^[9]。

局限

语音克隆的可用性依赖参考音频质量。官方文档要求专业克隆使用单一说话人、总时长不少于10分钟的干净录音，训练与审核全流程约需1至2小时，且该功能不包含在免费方案内^[4]。开源Fish Speech的推理对硬件有要求，公开说明建议使用相应级别的显卡，轻量版本则用于显存有限的设备^[3]。

开放模型在授权上存在限制。Fish Speech的代码以宽松许可发布，但模型权重采用CC-BY-NC-SA-4.0协议，禁止商业使用，S1-mini同样沿用该协议^[3][8]。因此希望商用的开发者需转向平台的付费接口，而最新一代模型并不开源^[7]。

用户生成音色库也带来治理难度。据媒体报道，平台要求上传者自行声明对声音的所有权，他人可举报，平台已建立下架流程并将处理时间缩短到数分钟内，但在声音权利人主动提出之前，未经授权上传的音色仍可能被继续使用^[7][9]。

在能力边界上，S1采用固定的标记词表控制情绪，官方建议新项目优先选用新一代模型，仅在需要该固定词表带来的可重复性时才使用S1^[5]。同时，部分第三方集成仅支持公开音色库中的音色，用户克隆的私有音色在特定渠道无法调用。

参见

• 文本转语音 —— Fish Audio的核心功能，把文字转换为可播放的语音音频。

• 语音克隆 —— 依据少量参考音频复制说话人音色的技术，是平台的主要能力之一。

• 强化学习人类反馈 —— S1等模型在训练后阶段用于对齐语音自然度与情感表达的方法。

• 混合专家模型 —— 大规模语音模型常采用的参数组织方式，用于在效果与推理成本间取得平衡。

• 模型上下文协议 —— 平台为AI代理提供的接入方式，使其可调用语音生成与转录能力。