Seed TTS
Seed TTS是字节跳动 Seed 团队研发的语音生成模型系列，2024 年 6 月以技术报告形式首次公开，属于大规模自回归文本转语音模型。该系列模型能够依据一段数秒的参考音频，以零样本方式复现说话人的音色与韵律，并可对情感、语速、音高等语音属性进行控制。在后续迭代中，该系列发展为面向开发者提供接口的商用语音合成产品，同时扩展到声音复刻与完整声音场景生成等方向。
定义
Seed TTS 指字节跳动 Seed 团队提出的一系列大规模语音生成模型，其核心任务是把文本转换为接近真人水平的语音。按照 2024 年 6 月公开的技术报告，该系列模型基于自回归 Transformer 架构，训练所用的数据量与模型规模比此前的语音生成系统高出数个数量级，从而获得较强的泛化能力[1]。
该系列由多个模型组成，而非单一模型。原始研究版本包含自回归的语言模型主干，以及一个完全基于扩散架构的非自回归变体 Seed-TTS DiT，后者不依赖预先估计的音素时长，可端到端完成语音生成，并具备语音编辑能力[2]。在商用侧，同一技术线以豆包语音合成大模型的名义提供，模型标识为 seed-tts-2.0[3]。
原理
Seed TTS 的推理流程由四个模块串联构成。语音分词器先把参考语音转换成语音标记序列；随后，自回归语言模型在文本与语音标记的配对序列上生成新的语音标记；生成的标记再交给扩散模型做由粗到细的声学细节增强；最后由声学声码器输出最终的语音波形[1]。技术报告指出，分词器的设计对整个系统的效果影响显著，团队同时考察了连续型与离散型两类分词器[4]。
训练过程分为三个阶段。预训练阶段追求尽可能广的场景与说话人覆盖，建立通用的语音建模主干；微调阶段分为说话人微调与指令微调，前者面向选定说话人群体提升效果，后者用于增强可控性与交互性；后训练阶段采用强化学习，对模型的稳健性、说话人相似度和可控性做整体优化[1]。研究中还提出了两种扩展方法：通过自蒸馏实现语音因子分解，从而在音色与内容之间做解耦；以及通过强化学习实现偏好偏置[5]。
迭代到 2.0 版本后，推理范式改为查询—响应机制，模型可以同时理解对话中的上文与待合成的回复文本，据此推断语气、停顿和节奏[6]。开发者可通过文本提示控制情感、语气、语速、音高、音色与风格等属性，也可用情感标签在句子粒度上施加控制[6]。接口支持单向流式 HTTP、单向或双向流式 WebSocket，双向流式通道的采样率最高可达 48K，输出音频格式包括 PCM、OGG_OPUS 与 MP3[6]。
发展历程
2024 年 6 月 4 日，字节跳动 Seed 团队发布技术报告《Seed-TTS: A Family of High-Quality Versatile Speech Generation Models》，首次系统介绍这一模型系列，并同步公开演示页面与测试集配置[2]。报告披露，在零样本语音上下文学习设定下，该模型在英语与中文测试上的主观评分与真人语音接近，且说话人相似度高于真人录音的对照组[1]。
商用阶段，字节跳动通过火山引擎与 BytePlus 提供语音合成与声音复刻两类模型，模型标识分别为 seed-tts-1.0、seed-tts-2.0 以及声音复刻的 seed-icl-1.0、seed-icl-2.0[7]。2.0 版本在对比 1.0 时的主要差别是增加文本提示、情感标签与上下文理解能力，并扩大语种覆盖[6]。2026 年 3 月，BytePlus 将语音合成与语音识别整合为 Seed Speech 2.0，其中 TTS 2.0 负责生成，ASR 2.0 负责识别，面向内容创作、智能助手、呼叫中心、配音和字幕等场景[8]。
同一技术线随后延伸到更宽的音频创作方向。据字节跳动 Seed 官方页面，2026 年 7 月 20 日发布的 Seed Audio 1.0 面向完整声音场景，通过通用声学编码器在统一框架下联合建模人声、音效与环境声，单次可生成约 2 分钟音频并支持继续延长，覆盖 20 多个语种。
应用
官方文档列出的典型用途包括智能助手、有声内容、数字人播报与智能客服[3]。在对话式应用中，模型会依据对话上文调整语气与停顿，适用于 AI 助手、对话代理和数字人；在媒体生产中，可用于视频配音与旁白生成[6]。
面向结构化与教育内容，2.0 版本针对公式与符号的朗读做了专门训练，覆盖数学、英语、化学、物理、地理、生物等学科，官方给出的复杂公式与符号平均朗读准确率约为 90%[6]。在长文本场景，接口提供异步任务模式，单次最多支持 10 万字符输入，客户端提交任务后轮询查询状态并取得音频下载链接[9]。声音复刻模型则允许用少量参考音频生成专属音色，用于个性化音色定制[3]。
接口层面，模型支持 SSML 标记、字级时间戳、音量和语速调节等参数，其中语速取值范围对应 0.5 倍到 2 倍；音频在服务端保存 7 天，下载链接有效期为 1 小时[9]。
局限
原始技术报告提到，语言模型类语音合成系统普遍存在稳定性不足的问题，会阻碍其实际部署，Seed-TTS 通过分词器与模型设计改进、训练与推理策略调整、数据增强以及强化学习后训练等方面共同缓解这一问题，但报告本身也把应用局限与安全影响列为需要持续研究的内容[1]。
生成结果在长文本上的一致性也有边界。报告观察到，合成语音会保持参考音频所定义的韵律，因此与真人相比，长时生成中句间的韵律变化偏少，团队认为多轮上下文学习可能有助于改善这一点，并将其留作后续工作[1]。
语种覆盖方面存在官方文档与实际支持深度之间的落差。BytePlus 的 TTS 2.0 文档列出英语、中文、日语、德语、法语、西班牙语、印尼语、巴西葡萄牙语、意大利语、韩语、阿拉伯语、菲律宾语、马来语、俄语、泰语、越南语等语种[6]；火山引擎的模型列表同样列出十余种语言[3]。这些列表说明了标称支持范围，但并未逐语种公布可比的评测数据。
此外，产品的分发主要依托火山引擎与 BytePlus 平台，使用前需要在控制台开通对应服务并获取密钥；火山引擎控制台提供 2 万字符、10 QPS 的免费试用额度，超出后需购买套餐或按量付费[10]。
参见
参考资料
- arxiv.org 上的网页 . arxiv.org [引用日期2026-10-08]
- bytedance.com 上的网页 . bytedance.com [引用日期2026-10-08]
- 模型列表--豆包语音-火山引擎 . volcengine.com [引用日期2026-10-08]
- huggingface.co 上的网页 . huggingface.co [引用日期2026-10-08]
- huggingface.co 上的网页 . huggingface.co [引用日期2026-10-08]
- texttospeechv2 . byteplus.com [引用日期2026-10-08]
- legacyconsoleauth . byteplus.com [引用日期2026-10-08]
- seed-speech-2-0 . byteplus.com [引用日期2026-10-08]
- 任务提交--豆包语音-火山引擎 . volcengine.com [引用日期2026-10-08]
- Speech_Console_Guide . byteplus.com [引用日期2026-10-08]
浏览次数：0 次
阅读量：0 次 · 阅读完成量：0 次
最近更新：2026-10-08T11:44:58Z
完成率 = 阅读完成量 ÷ 阅读量，分母是阅读量不是浏览次数 —— 关了 JS 的、秒退的都在浏览次数里、不在阅读量里。 详细口径在后台的「数据统计」页。