Boson AI

定义

Boson AI是一家以语音为核心的人工智能公司，总部位于美国加利福尼亚州圣克拉拉，成立于2023年，主要从事自然语言处理与音频技术方向的模型研发^[1]。其业务形态包括为开发者提供应用程序接口，以及为企业客户定制语音与视频模型^[3][4]。

公司对外提供的产品统称Higgs系列，其中Higgs Realtime面向实时语音对话，Higgs TTS面向文本转语音，Higgs Avatar面向由静态图片生成会说话的视频形象^[3]。按公司自述，整套系统采取全栈自研路线，理由是生产环境中的对话式语音难以由外部组件拼接而成^[5]。

原理

Higgs Audio v2是该公司音频模型的代表性版本，它建立在Llama-3.2-3B之上，通过名为DualFFN的音频适配器增强大语言模型处理音频词元的能力^[6]。该适配器含22亿参数，与36亿参数的语言模型主干合计约58亿参数，训练与推理的浮点运算量与原始主干相同^[6][1]。

配套的统一音频分词器把24千赫兹的音频离散化为每秒25帧的词元序列，同时编码语义与声学特征，覆盖语音、音乐与音效^[7]。训练数据来自名为AudioVerse的语料，规模约1000万小时，由多个语音识别模型、声音事件分类模型与自研音频理解模型自动清洗标注而成^[6]。

在实时对话产品中，语音输入到语音输出的延迟中位数约为700毫秒，用户打断后系统约在125毫秒内停止播报^[8]。公司创始人公开介绍，生产环境中首段音频的延迟中位数为750毫秒，流水线把理解模型与较小的生成模型串联，各阶段均以流式方式工作^[9]。

发展历程

亚历克斯·斯莫拉是机器学习研究者，2016年起在亚马逊担任副总裁级杰出科学家；李沐是深度神经网络框架MXNet的作者之一。两人于2023年离开亚马逊创办Boson AI^[2]。公司初始阶段试图从头训练模型，后因开源模型质量提升而转向针对业务场景优化现有模型，2024年6月推出基于Llama优化的Higgs系列大语言模型，7月推出Higgs Llama V2^[2]。

2025年，团队在超1000万小时音频数据基础上开源Higgs Audio v2，据其模型卡说明，该版本未经后训练或微调即可进行表现力较强的音频生成^[10][6]。同年，团队在NeurIPS的相关报告介绍了Higgs Audio在音频理解与生成上的数据收集、预处理、模型架构与对齐训练流程^[11]。

2026年5月，公司发布面向语音智能体的实时数字人基础模型Higgs Avatar v1，进入内测阶段^[12]。2026年6月，约40亿参数的自回归文本转语音模型Higgs Audio v3 TTS以非商业研究许可在Hugging Face开放权重^[13]。同年7月，公司称将发布首个语音到语音模型Higgs RealTime，并披露累计融资7000万美元，投资方包括中国企业家宿华与新加坡投资机构淡马锡旗下基金^[14]。

应用

公司公布的落地场景集中在企业语音工作流，包括健康险的客户外呼、通话中的风险核验、客服请求处理、来电接待与专员培训等^[15]。消费端方向则有导览讲解、实时翻译与儿童伴读等^[15]。公司表示最早关注的行业为金融、电信、医疗与保险^[4]。

文本转语音能力支持100种以上语言，语音识别覆盖94种语言，可在一次对话中切换语种^[9]。该能力也用于语音克隆与多说话人对话生成，v2版本支持旁白韵律自适应、零样本声音克隆与哼唱，并可同时生成语音与背景音乐^[10]。Higgs Avatar则被用于保险销售、企业教练、虚拟面试与互动娱乐等场景^[12]。

局限

语音交互的首要技术障碍是延迟：在文字聊天中可以接受的约1秒等待，放到口语对话里会显得突兀^[4]。全双工语音还会增加图形处理器的占用，从而推高成本^[4]。

开源版本的实时性也存在差距。开发者在Higgs Audio仓库中报告，用vLLM本地部署时首字节延迟约650毫秒，团队回应称已开源的模型并非为实时场景设计，尚未在降低首词元延迟上投入太多^[16]。此外，Higgs Audio v3采用研究与非商业许可，用于生产、托管或创收用途需要另行取得商业许可^[17]。

公司创始人也谈到，大语言模型在钢铁、电池等传统制造环节的作用可能有限，其客户价值更多体现在与对话系统相关的场景^[2]。数字人与音频栈结合的产品形态在2026年8月尚未正式发布^[9]。

参见

• 文本转语音 —— Boson AI的Higgs Audio系列属于这一技术方向，用于把文字转为自然人声。

• 语音识别 —— 公司音频栈中的理解端能力，用于转写与语义理解。

• 大语言模型 —— Higgs Audio v2等模型以开源大语言模型为主干并加以音频适配。

• Llama —— 该公司多代音频与语言模型所基于的开源模型系列。

• 数字人 —— Higgs Avatar所属的产品形态，由静态图像生成实时说话形象。

• 多模态大模型 —— 公司产品同时处理文本、音频与视频信号，属于这一范畴。