MaskGCT
定义
MaskGCT 是一种完全非自回归的文本转语音模型,名称来自「掩码生成编解码器变换器」的英文缩写。它把语音合成看成离散标记序列的补全问题:模型先依据文本与参考语音的语义标记生成目标语义标记,再据此生成声学标记,最后由编解码器解码为波形。[2][3]
与依赖文本—语音对齐标注和音素级时长预测的传统非自回归合成系统不同,MaskGCT 在训练阶段不需要这类显式对齐信息,因而省去了对齐建模与时长建模两个环节。[2] 研究者将其定位为一种语音生成的基础模型,可扩展到朗读合成之外的多类语音任务。[3]
该模型以零样本音色克隆为主要能力:推理时给定一段提示语音,模型可沿用其中的音色、语调与风格合成新的文本内容。[1] 相关工作于 2024 年公开,论文后被国际学习表征会议(ICLR)2025 接收。[4][5]
原理
MaskGCT 建立在「掩码—预测」学习范式之上。给定一段离散标记序列,训练时按掩码率函数随机遮盖部分位置,模型根据未被遮盖的标记和条件信息预测被遮盖位置的内容;推理时从全遮盖或部分遮盖的序列出发,经过若干轮迭代逐步确定全部标记。[3] 掩码率可表示为随迭代轮次变化的函数,例如 $\gamma(t)=\sin(\pi t/2T)$,其中 $t \in (0,T]$,[3] 这一思路与自然语言处理中的掩码语言建模相近,只是作用对象由文本词元换成了语音编解码器产生的标记。[6]
模型分两个阶段运行。第 1 阶段是文本到语义(T2S)模型,输入为文本标记序列和提示语音的语义标记序列,输出指定长度的语义标记,不进行显式时长预测;第 2 阶段是语义到声学(S2A)模型,以上一阶段的语义标记为条件,预测来自残差向量量化(RVQ)语音编解码器的声学标记。[3]
语义标记的提取方式与早期工作有所区别。以往常用 k-means 聚类从语音自监督学习特征中得到离散语义单元,MaskGCT 改为训练一个 VQ-VAE 对自监督表征做量化,研究者的报告称这样即使只用一个码本也能减少语义特征的信息损失。[3]
由于两个阶段都在标记层面并行生成,推理耗时不完全随输出序列长度线性增长,生成语音的总时长也可通过设定标记长度来调节。[2][6] 这种结构同时便于对片段做局部重生成,在批量合成与长音频处理中较为有利。[6]
发展历程
2024 年 9 月 1 日,相关论文以预印本形式公开,作者包括王远程、詹皓月、刘立威、曾瑞虹、郭浩天、郑嘉辰、张强、张雪瑶、张舜思、吴志正等研究者。[7][5] 论文报告了在约 10 万小时真实场景语音数据上的训练结果,并在语音质量、相似度和可理解性指标上与当时的零样本合成系统作了比较。[2]
2024 年 5 月,趣丸科技与香港中文大学(深圳)宣布共建联合实验室,开展音频大模型方向的研究;[1] 同年 10 月,双方联合研发的 MaskGCT 正式开源,并通过香港中文大学(深圳)与上海人工智能实验室共同开发的 Amphion 系统对外发布。[1]
按照 Amphion 项目记录的版本时间线,10 月 19 日发布模型与代码,2025 年 1 月 25 日论文被 ICLR 2025 接收。[4][5] 模型权重与推理代码随后以开源形式提供,并在 Amphion 的语音合成模型中单独成模块。[8]
应用
核心用途是零样本语音合成与音色克隆。公开资料称,提供约 3 秒的音频样本即可复现说话人的音色,包括语调、情绪与风格要素,因此可用于有声读物、数字人与智能助手等需要大量配音的场景。[1]
在跨语种方面,模型训练所用的 Emilia 数据集由香港中文大学(深圳)、趣丸科技等机构联合构建,规模约 10 万小时,覆盖中、英、日、韩、法、德等语言,模型因而可做跨语种的音色迁移合成。[1] 作者在论文中进一步把方法用于跨语种配音、语音内容编辑、声音转换与情绪控制等任务,验证其作为通用语音生成基座的延展性。[3]
面向影视、游戏与短剧的多语种内容生产,趣丸科技基于该模型搭建了视听翻译平台,提供字幕处理、语音翻译与唇音同步等功能。[1] 在工程实践中,非自回归的生成方式被认为更适合长视频切段并发与单句重录。[6]
局限
零样本合成的效果仍取决于训练数据覆盖、编解码器表征质量、参考音频质量与后处理策略,跨语种时音色、语速与情绪可能出现偏移。[6] 模型一方面省去了显式对齐与音素时长建模,另一方面其时长控制依赖对生成标记长度的设定,细粒度的韵律控制仍需要配合其他手段。[3]
并行迭代生成的特性使其在批量场景中效率较高,但直播翻译、实时会议配音等对端到端时延要求更低的场景,仍需要额外的流式生成与推理加速方案。[6] 论文学术评估主要在 LibriSpeech 与 SeedTTS 等测试集上开展,指标的提升幅度有限,其中部分相似度指标在英语测试集上为 -0.002,说明与最优基线之间并非全面领先。[3]
此外,音色克隆类模型在公开提供高保真合成能力的同时,也引发了说话人身份被仿用的风险,论文只报告技术指标与开放资源,未就使用边界作制度性说明。[2]
参见
参考资料
- 趣丸科技聯合港中大（深圳）開源語音大模型MaskGCT，刷新全球多項SOTA [引用日期2026-10-29]
- 74a31a3b862eb7f01defbbed8e5f0c69-Abstract-Conference [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]
- README [引用日期2026-10-29]
- mlanthology.org 上的网页 [引用日期2026-10-29]
- 从 VALL-E 到 MaskGCT：零样本声音克隆技术演进 [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- 5#Installtheenvironment [引用日期2026-10-29]