Riffusion

定义

Riffusion 是一类以频谱图为中介的文本生成音乐模型。用户输入描述音乐风格、乐器或情绪的文字后，模型并不直接生成波形，而是输出一张表现声音频率与时间关系的频谱图图像，再由程序把图像转回可播放的音频^[2][6]。就技术归类而言，它属于潜在文本到图像扩散模型的一种变体，外文资料常将其类型标注为文本到图像模型^[1]。

该名称既指 2022 年发布的开源模型及其权重，也指开发者后来成立的公司与面向公众的网页、移动端音乐生成服务^[2][3]。早期版本的输出只有数秒长，后续产品则能生成数分钟的完整歌曲^[1][7]。

原理

模型的基础是稳定扩散(Stable Diffusion)。开发者以 Stable Diffusion v1.5 的检查点为起点，用成对的「短音频频谱图—文字描述」数据做微调，使模型学会某种声音在频谱图上呈现的样子，从而能按文字提示画出对应的频谱图^[2][3]。文字侧沿用固定的预训练文本编码器 CLIP，因此模型可以理解训练数据中未直接出现的音乐词汇^[2]。

从图像回到声音需要经过逆变换。生成图像只包含各频率分量的幅度信息，相位被视为难以学习的混沌量而被略去，实践中借助 Griffin-Lim 算法迭代估计相位，再通过逆短时傅里叶变换合成波形；频谱图的频率轴采用梅尔刻度，以贴近人耳的音高感知^[6]。用公式表示，重建过程可写作 $x = \mathrm{ISTFT}(\mathrm{GriffinLim}(S))$，其中 $S$ 为由图像还原的幅度谱。

由于生成物是图像，模型还能对多段输出做潜在空间插值，或借助图生图能力在片段之间平滑过渡，从而把数秒的素材接成更长的乐段^[1]。推理时通常需要图形处理器，也有实现将其转换后在其他推理框架上运行^[8][6]。

发展历程

2022 年 12 月 15 日，Forsgren 与 Martiros 将 Riffusion 作为业余项目公开，模型权重与代码一并释出，最初被定位为供研究使用的工具^[1][2]。据开发者介绍，数百万人试用过该项目，其思路也被 Meta、Google 与字节跳动等公司的研究论文引用^[3]。

2023 年 10 月，两人成立公司并完成 400 万美元种子轮融资，由 Greycroft 领投，South Park Commons 与 Sky9 参投，音乐组合 The Chainsmokers 担任顾问，当时团队约 6 人^[9]。同年前后，团队推出面向普通用户的免费应用，可依据歌词与风格描述生成带人声的短片段^[3]。

2024 年 7 月，团队发布以「照片生成歌曲」为核心体验的移动应用，该应用其后从应用商店下架^[7]。2025 年 1 月，新版网页应用以公开测试形式上线并免费开放，同时发布名为 Fuzz 的生成模型，可产出带人声的完整歌曲，并能以文字、音频片段乃至图像作为输入^[5][4]。此后公司以 ProducerAI 名义继续运营^[10]。

应用

在公开演示与网页应用中，用户可在提示中描述曲风、乐器、速度与情绪，并可切换纯音乐模式；也可进入作词模式自行提供歌词，由模型配上人声演唱^[11]。部分版本支持上传音频作为参考，在已有旋律上叠加 AI 演唱，或对已生成歌曲的片段做替换与延长^[11][7]。

从使用场景看，这类工具常被用于为视频、播客等自制内容快速获取背景音乐与主题曲，也被用于在创作初期生成旋律与编曲灵感^[5][11]。在学术侧，Riffusion 也被用作后续研究的基线模型，例如有研究以情感维度为条件、基于该模型生成音景，或用其开展文本生成音乐的对比评测^[12][13]。

局限

早期模型受频谱图表示所限，单次输出只有数秒，且因丢弃相位信息，重建音频在音质与细节上存在损失^[1][6]。有评测指出，同类工具对提示的遵循并不稳定，人声与歌词质量起伏较大，风格提示过于宽泛时结果容易偏离预期^[14][5]。

产品层面还有明确的输入限制：提示中不能点名特定艺人并要求模仿其风格^[11]。训练数据来源同样未公开，公司方面未就所用数据集的授权情况作出说明，这使外界难以核实其版权合规性^[4][7]。开源版本权重以 CreativeML OpenRAIL-M 许可发布，对输出用途设有使用限制^[2]。

参见

• 稳定扩散 —— Riffusion 由该文本到图像模型微调而来，是其技术起点

• 频谱图 —— 模型生成与还原音频所依托的中间表示

• Griffin-Lim 算法 —— 用于从幅度谱估计相位、重建波形的常用方法

• Suno —— 同属文本生成歌曲的商用平台，常被拿来与其对比

• MusicLM —— 谷歌发布的文本生成音乐模型，属于同一研究方向