Text to Speech
Text to Speech是让计算机把书面文本转换成可听语音的技术，常缩写为TTS，中文通称语音合成，也称文语转换。它把文本经语言学分析后生成声学特征，再由声码器还原成波形，因而涉及自然语言处理与声学信号处理的交叉。语音合成是人机语音交互的输出环节，用于读屏辅助、语音助手、导航播报与有声内容制作，其自然度与可控性长期是衡量技术水平的标尺。
定义
Text to Speech指由任意给定文本生成与之对应的语音波形的过程，中文文献多称语音合成或文语转换。它的输入是字符或音素序列，输出是可播放的音频信号，两者之间不存在固定的一一映射：同一句话由同一人多次朗读，波形几乎不会完全相同，因此该问题通常以概率框架来刻画[1]。
在工程实现上，一个合成系统一般划分为负责文本理解的前端与负责发声的后端。前端完成文本规范化、分词、读音标注与韵律预测，把字符转成带上下文信息的语音学表征；后端据此产生声学参数或直接产生波形[2]。多音字、日期时间等特殊符号的读法，以及不同语种的处理差异，是前端的主要难点[2]。
原理
从信息流向看，合成过程是先由文本得到语言学规格，再得到声学特征，最后得到波形。若以 $w$ 表示待合成文本、$x$ 表示待生成波形，其目标即估计条件分布 $p(x\mid w)$ 并从中采样；由于直接计算困难，通常引入音素、时长、频谱等中间变量，把问题拆成文本分析、声学建模与波形生成三步[1]。
文本分析环节输出音素序列及韵律信息。近年主流的神经网络系统把这部分做成端到端流程：编码器处理音素与标点，时长或韵律预测模块给出音高、能量与时长目标，解码器再生成声学特征，最后由声码器输出波形[3]。声码器是把频谱等中间表示还原为时域采样的关键部件，其质量直接决定高频细节与听感[4]。
系统多以语音合成标记语言(SSML)接收带标注的文本，可用它控制发音、音量、语速和停顿等属性；接口层面常见基于 HTTP 与 WebSocket 的调用方式，后者还能返回词级时间信息[5]。说话人音色通常以嵌入向量的形式注入模型，从而在同一系统内切换不同发音人[6]。
发展历程
电子合成的起点是贝尔实验室霍默·达德利(Homer Dudley)的工作。1939 年纽约世界博览会上，其实验装置 VODER 公开演示，操作者用 10 个按键、腕杆与脚踏板控制滤波器组、清浊音切换和音高，从而拼出可懂的语句，但需长期训练才能操作[7]。同一时期提出的通道声码器采用分析—合成两段结构，被视为后续合成装置的共同基础。其后数十年，英国 JSRU、美国哈斯金斯实验室与瑞典方特实验室等推进了发音机理与规则合成研究，1970 至 1980 年代贝尔实验室与麻省理工学院又贡献了工程化系统[8]。
此后的技术路线可分为参数合成与波形拼接两类。共振峰合成以声道模型参数产生语音，参数有物理含义，但模型较粗、调参复杂；波形拼接则从录制语料中选取单元并接续，20 世纪 90 年代起成为高自然度系统的主流，基音同步叠加(PSOLA)可在拼接时调整音高与音长[2]。二者都依赖拼接或参数化重建，跨说话人和情感迁移较为困难[9]。
深度学习把合成推向端到端建模。2016 年 9 月，深度思维(DeepMind)发布 WaveNet，直接对原始波形逐采样点建模，采用空洞因果卷积扩大感受野，在主观评测中把机器语音与真人语音的差距缩小一半以上[10][11]。该模型早期每秒需生成 16000 个采样点，计算代价高，尚未投入商用[9]。2017 年谷歌提出 Tacotron，用注意力序列到序列结构从字符直接预测梅尔频谱[12]；2018 年 Tacotron 2 把声学模型与 WaveNet 类声码器结合，主观质量接近录音水平[12]。
自回归结构推理慢、易出现跳词与重复。2019 年微软与浙江大学研究者提出 FastSpeech，以时长预测加长度调节器实现并行生成梅尔频谱，频谱生成速度较自回归 Transformer 模型提升约 270 倍，端到端合成提升约 38 倍，音质与自回归模型相当[13]。此后 VITS 等框架把文本编码器与波形解码器接入同一隐变量空间，在单一模型中完成文本到波形的转换[4]。近年研究转向少量样本的音色克隆、局部节奏控制与跨模态生成[14][15]。
应用
读屏与无障碍辅助是最早也最稳定的用途之一。合成服务可为视障人士与残疾人提供文本朗读，也可支撑语音驱动的无屏幕操作界面[16]。语音助手、自动化语音应答与智能客服同样依赖合成输出，流式合成可压缩首字延迟[5]。
在内容生产侧，视频旁白、有声读物与教育教材的示范音频可由系统批量生成。研究机构指出，合成技术已从智能语音助手扩展到有声内容创作、虚拟人生成与多模态人机交互[14]。教育与考试评测场景对多音字、生僻字与公式符号的读法有较高要求，导航播报则更看重站点名等关键信息的辨识度[15]。
局限
自然度仍有残余差距。WaveNet 一类模型虽把与真人语音的感知差距缩小过半，但并未消除；呼吸声、唇齿音等细节的处理仍不完善，文本与语音之间的一对多关系也使输出带有随机性[10][17]。
工程层面存在效率与稳定性的权衡。自回归模型逐帧生成，推理时延高，长句易出现注意力对齐错误，导致跳词或重复；非自回归模型虽大幅提速，却依赖时长预测等外部信息[13]。此外，小语种与方言的训练语料稀缺，嵌入式设备上的实时合成也受算力限制[17]。
韵律与表达的控制粒度有限。多数系统可以整体调整语速或套用风格标签，却难以在句内指定某个词多占几十毫秒、某个边界多留一段停顿；字级时长与边界停连的同时可控，直到近年才有研究报告实现[15]。跨说话人、跨情感的声音迁移在早期拼接与参数范式中也较难完成[9]。
参见
参考资料
- 日本音響学会誌 74 巻 7 号（2018），pp [引用日期2026-10-29]
- 要点 [引用日期2026-10-29]
- IBM Cloud Docs [引用日期2026-10-29]
- 早期语音合成主要采用拼接合成和统计参数模型两大范式 [引用日期2026-10-29]
- 关于 Text to Speech | IBM Cloud Docs [引用日期2026-10-29]
- google.com 上的网页 [引用日期2026-10-29]
- Vocal Codes [引用日期2026-10-29]
- aip.org 上的网页 [引用日期2026-10-29]
- Face of a Robot, Voice of an Angel? [引用日期2026-10-29]
- WaveNet: A generative model for raw audio [引用日期2026-10-29]
- 9th ISCA Workshop on Speech Synthesis Workshop (SSW 9) [引用日期2026-10-29]
- 文本转语音与音色定制 [引用日期2026-10-29]
- FastSpeech: Fast, Robust and Controllable Text to Speech [引用日期2026-10-29]
- 语音合成技术的前沿进展：从文语转换到多模态生成 [引用日期2026-10-29]
- TTS也要真人感！首个字级内容、毫秒级停顿控制的语音合成系统 [引用日期2026-10-29]
- Text to Speech [引用日期2026-10-29]
- 语音合成技术：从原理到应用的全面解析 [引用日期2026-10-29]