MusicFX

定义

MusicFX是谷歌开发的一款实验性人工智能音乐生成工具，用户通过输入文本描述来表达想要的音乐风格、情绪或编制，工具据此生成器乐音频。它于2023年12月发布，通过谷歌面向公众测试新技术的平台「AI试验厨房」提供早期体验^[1]。

该工具与谷歌此前发布的MusicLM模型以及DeepMind的水印技术SynthID配套使用，输出音频中嵌入数字水印，用以说明内容由人工智能生成^[2]。部分涉及特定艺人姓名或包含人声的请求不会被生成，这是为保护表演者声音与风格而设置的限制^[3]。

原理

MusicFX属于文本生成音乐模型的应用层产品，其基础是MusicLM。模型在海量音乐音频与文字描述的配对数据上训练，学习把旋律、和声、音色、节奏等音频波形特征与文本中的语义概念关联起来，生成时再依据用户输入的描述重构音频^[4]。

其后推出的MusicFX DJ模式在生成方式上做了两点改动。一是把原本离线的生成模型改造成可流式输出的形式，训练模型依据已经生成的音乐片段和玩家提供的文本提示继续生成下一段音乐，从而形成连续的音乐流^[5]。

二是允许多个文本提示同时参与生成。系统把每条提示转换成嵌入表示，由用户通过滑块决定各条提示的相对权重，模型再把加权后的嵌入合并起来控制音乐风格，因此音乐风格可以在播放过程中被逐渐改变^[5]。谷歌此后说明，相关工具改由Lyria与Lyria RealTime音乐生成模型驱动^[5]。

在音质方面，谷歌音频研究团队引入新的神经音频编解码器和经过优化的网络结构，使MusicFX DJ能够实时输出48 kHz立体声音频^[6]。

发展历程

2023年12月，谷歌发布MusicFX，将其与TextFX等一起放在AI试验厨房中，面向美国、肯尼亚、新西兰和澳大利亚的用户开放试用，当时仅支持英文^[1]。

2024年2月，谷歌更新了MusicLM模型，MusicFX的生成速度和音质随之提升，可生成的曲目时长延长至70秒，生成的音频带有SynthID数字水印^[7]。

2024年5月，谷歌在I/O大会上展示了MusicFX DJ的早期预览。2024年10月，谷歌DeepMind与谷歌实验室合作推出改版后的MusicFX DJ，新增实时流式生成、多提示混音、乐器增减、调性与速度控制等功能，并支持下载60秒音频片段和分享会话^[5]。这一版本的界面与控件由六次格莱美奖得主雅各布·科利尔(Jacob Collier)参与设计^[5]。

2025年5月，谷歌说明这批音乐工具已改由Lyria和Lyria RealTime模型驱动^[5]。

应用

MusicFX生成的是无人声的器乐片段，常用于为视频、应用和游戏提供氛围性或背景性的音乐素材^[8]。

在实际产品中也有使用案例。谷歌为Pixel 8系列推出的一组名为Gems的铃声、通知音和闹钟音效即借助MusicFX制作，音频设计师从生成的30秒片段中截取约两秒的素材，再加以节奏和旋律上的改动，形成新的作品^[9]。

MusicFX DJ的定位偏向实时演奏与灵感采集，使用者可以叠加风格、乐器与氛围等提示，即兴组织一段现场音乐，也可以把它和传统乐器配合使用^[5]。谷歌同时在YouTube的Dream Track实验中应用了同类音乐生成技术，供创作者为短视频生成伴奏^[10]。

局限

MusicFX无法生成连贯的人声与歌词，输出以器乐为主，这限制了它在完整歌曲制作中的适用范围^[2]。可生成的曲目长度受预设档位限制，早期版本提供30秒、50秒和70秒等固定时长，每条提示最多生成两个片段^[2]。

在语料保护方面，工具不会响应提及特定艺人或包含人声的请求^[3]。实测还显示，模型对较为抽象或复合的提示理解有限，输出可能偏离描述，生成结果也容易出现程式化的问题^[11]。

地理与语言上的可用范围同样构成限制，该工具最初仅在少数国家和地区开放，且只支持英语^[1]。MusicFX DJ在2024年推出时并未向公众全面开放，仅限部分测试者使用^[12]。

参见

• MusicLM —— MusicFX 所依托的文本生成音乐模型。

• SynthID —— 用于标识人工智能生成音频的数字水印技术。

• Lyria —— 后续为 MusicFX 系列工具提供支持的音乐生成模型。

• AI试验厨房 —— 谷歌提供 MusicFX 早期体验的公众测试平台。

• 雅各布·科利尔 —— 参与 MusicFX DJ 控件与界面设计的音乐人。

• 文本生成音乐 —— MusicFX 所属的技术门类。