LLaSA TTS

定义

LLaSA TTS是一类以大语言模型为骨架的语音合成模型,其核心框架称为Llasa,由香港科技大学音频研究团队联合其他机构提出。它把语音内容、韵律和音色统一压缩为一条离散token流,再由单个Transformer像预测文本下一个词那样逐token生成语音,不需要额外的扩散模型等后级模块^[1]。按论文表述,该框架的设计目标是让语音合成能够像文本大模型一样随计算资源扩展而稳定受益。

模型以LLaMA系列的1B、3B与8B参数版本为初始化基础,分别对应Llama 3.2的1B、3B和Llama 3.1的8B^[2]。除文本直接合成语音外,输入一段参考语音即可模仿其音色与风格进行零样本语音克隆^[3]。

原理

系统的关键部件是名为XCodec2的语音分词器。它由编码器、单层向量量化模块和解码器组成:语义编码器采用预训练的Wav2Vec2-BERT提取内容与情绪特征,声学编码器以残差卷积块刻画音色等低层细节,两路特征拼接后经有限标量量化(FSQ)离散化。与逐层累积的残差量化不同,单层量化保证了一维的因果依赖关系,与Transformer从左到右的自回归方式相吻合^[1]。

量化后的语音token码本规模为65536,这些token被赋予在文本词表之后的新编号,再与文本token拼成统一词表,于是语音合成被转化为标准的下一token预测任务^[4]。推理时,模型自回归输出语音token序列,再由解码器依据预测的短时傅里叶变换幅度与相位经逆变换还原为波形。

在训练阶段,团队固定数据量而扩大模型规模,又固定模型而增加数据量,以观察两类变化的独立影响^[1]。在推理阶段,他们把说话人验证、情感识别、语音识别等语音理解模型当作验证器,对候选结果打分重排,即过程奖励模型与输出奖励模型两种搜索策略。

发展历程

相关论文于2025年2月6日首次提交至arXiv预印本平台,同月22日更新至第2版,作者包括叶臻等20人^[2]。2025年2月7日,研究团队公开论文并发布1B多语言版本模型^[4]。随后在2月13日,仓库补充了微调说明,便于研究者在自有数据上继续训练^[3]。

训练数据方面,团队共使用25万小时中英双语语音,其中约16万小时来自LibriHeavy、Emilia和WenetSpeech4TTS等公开语料,其余约9万小时为未开源的内部数据^[4]。模型权重与训练代码以CC BY-NC 4.0等非商业许可发布,编解码器与TTS模型均可公开下载^[3]。

2025年8月,后续工作Llasa+提交预印本,并在2025年12月的ASRU会议上发表。该版本在冻结的主干网络后接入2个多token预测模块,一次自回归步可产出多个token,并以验证算法筛除不可靠预测;配合因果解码器,可在LibriTTS数据训练下实现1.48倍加速并支持流式合成^[5]。

应用

作为开源模型,LLaSA的权重被托管于模型社区,研究者可直接加载进行文本转语音或带参考音频的语音克隆,官方示例的采样率为16kHz。社区据此开发了网页界面与接口封装,将模型与语音识别模型组合,提供参考音频转录、文本输入、参数调节等操作流程^[6]。

在能力层面,该模型支持中英文以及混合语种的语音生成,官方说明中提到8B版本在复杂句式和长文本理解上表现更佳,可用于含数字、缩写和诗词的文本朗读。研究者还可借助强化学习等手段对模型做微调,公开项目中存在基于GRPO并以语音识别词错率作为奖励的微调实践^[7]。

局限

自回归结构带来推理延迟问题。后续研究指出,LLaSA这类大模型逐token生成的方式在响应速度和流式输出上存在明显瓶颈,并不天然适合实时交互场景,这也正是Llasa+引入多token预测与因果解码器的出发点。

音质保真度受限于分词器。团队自述单层向量量化在重建保真度上的不足,是模型在与原始音频直接比对的说话人相似度指标上的主要短板,尽管其生成能力本身较强。公开示例也显示部分文本输入的处理效果不稳定,反映了该方法仍存在覆盖不足的情形^[8]。

使用范围受到约束。模型权重采用禁止商业使用的许可条款,官方声明商业化使用不被允许^[3]。此外,训练数据中约9万小时为未公开的内部语料,外部研究者难以完整复现训练过程^[4]。

覆盖面方面,官方发布的检查点主要面向中文与英文,其他语言需要另行微调或多语言版本支持^[3]。

参见

• 大语言模型 —— LLaSA以文本大模型为骨架,把语音合成为token预测任务

• Transformer —— 模型采用与LLaMA一致的单Transformer结构完成自回归生成

• 语音合成 —— LLaSA所属的技术领域,任务是由文本生成语音波形

• 向量量化 —— XCodec2依靠单层向量量化把连续语音压缩为离散token

• 零样本学习 —— 模型可凭一段参考语音克隆未见说话人的音色