Qwen2-Audio
Qwen2-Audio是阿里巴巴通义千问团队于2024年发布的音频语言模型（Large Audio-Language Model，LALM），输入为音频和文本，输出为文本。它无需额外的自动语音识别模块即可直接进行语音问答，并提供语音聊天和音频分析两种交互模式，可用于语音转写、音频内容解读与多语言、方言音频理解。该模型以开源方式发布，是通义千问从语言模型向多模态扩展的组成部分。
定义
Qwen2-Audio是一类把音频信号接入大语言模型的音频语言模型，能够接收音频、文本两种输入并生成文本输出，通义团队将这一类别称为大型音频语言模型[1]。它既可接受含有人声、自然音、音乐或多种信号混合的音频，也接受纯文本指令。按照官方说明，模型支持超过 8 种语言和方言，包括中文、英语、粤语、法语、意大利语、西班牙语、德语和日语。
公开的模型版本有两个：基础模型 Qwen2-Audio-7B 与指令跟随版本 Qwen2-Audio-7B-Instruct，前者用于后续微调，后者面向对话与音频分析任务。
原理
模型沿用“音频编码器 + 语言模型”的组合结构。音频先由编码器转换为表示向量，再经投影映射接入语言模型的输入空间，由语言模型生成文本回复；结构中没有音频解码器，因此输出限于文字[2]。通义团队的论文在介绍训练流程时提到，以 Qwen 语言模型和音频编码器为基础模型，先做多任务预训练以实现音频与语言的对齐，再经监督微调与直接偏好优化（DPO）获得下游任务能力和对偏好的拟合。
与上一代 Qwen-Audio 相比，Qwen2-Audio 在预训练阶段不再依赖复杂的分层任务标签，而是用自然语言提示描述不同的数据与任务，同时扩大了训练数据量[3]。论文还说明，DPO 用于改善模型回答的事实性与行为符合度[3]。
两种交互模式的区分不依赖系统提示词，而由用户输入本身决定：语音聊天模式下输入只有语音指令，音频分析模式下则在音频之外附加文字指令，切换只需更换输入内容[3]。
发展历程
Qwen2-Audio 的前身是 2023 年的 Qwen-Audio，后者以统一的大规模音频语言模型为目标，探索通用音频理解[4]。在此基础上，通义团队于 2024 年 7 月 15 日公开了题为《Qwen2-Audio Technical Report》的技术报告，署名作者包括 Chu Yunfei、Xu Jin、Yang Qian、Lin Junyang、Zhou Jingren 等 12 人[3][5]。
2024 年 8 月，通义方面宣布开源 Qwen2-Audio，同时发布基础模型与指令跟随版本，模型权重可在 Hugging Face、魔搭社区等平台下载，也可在魔搭社区直接试用。同一时期，通义团队推出的音频理解测评基准相关论文被 ACL 2024 录用，该基准用于比较各类音频语言模型[1][6]。
官方博客还提到后续计划：在更大规模预训练数据上训练模型以支持超过 30 秒的音频，并构建参数规模更大的版本，用于研究音频语言模型的扩展规律。
应用
语音聊天模式面向直接的口头提问，用户说出指令即可获得文字答复，过程中不需要先用 自动语音识别 模块把语音转写成文字。音频分析模式则用于在给定文字要求下解读音频内容，例如识别说话人、描述声音事件、分析音乐。
在能力覆盖上，单一模型可承担语音识别、语音翻译、音频描述、声音事件检测、情绪识别等多项任务，而不必为每项任务单独训练模型[2]。团队公布的结果显示，在 LibriSpeech、Common Voice 15、Fleurs、Aishell2、CoVoST2、Meld、Vocalsound 等基准上，模型的成绩优于上一代 Qwen-Audio 以及此前各项任务的最好结果。
评测方面，通义团队参与构建的 AIR-Bench 分基础与聊天两部分，前者含 19 项任务、约 1.9 万道单选题，后者含约 2000 条开放式问答，覆盖语音、声音、音乐与混合音频[6][7]。在该基准的聊天榜上，Qwen2-Audio 以 6.93 的平均分列首位，高于 Gemini-1.5-pro 的 5.70[8]。
局限
模型输出为文本，不具备生成音频或语音的能力，因此不能直接以合成语音回应[2]。音频输入长度也受窗口约束：官方博客在展望中把“支持超过 30 秒的音频”列为改进方向，说明发布时的版本对长音频支持有限。
在工程实现上，常用的处理器采用固定 30 秒窗口，超过长度的输入会被截断处理，长录音需要先切分再分析[9]。有研究指出，音频语言模型处理超过 30 秒的长语音时，既缺少对齐与指令微调数据，也因语音表示序列远长于等量文本而计算代价显著上升[10]。
回答的稳定性同样存在问题。第三方评测显示，对话导向的 Qwen2-Audio-Instruct 在不同任务间的一致性弱于任务中心的 Qwen-Audio，部分不一致来自语义层面的幻觉，即模型依据问题内容而非音频线索作答[11]。另有研究发现，在部分任务上该模型会出现语言控制失效、把任务误判为说话人识别或直接输出转写结果等情况[12]。
参见
参考资料
- alibabacloud.com 上的网页 [引用日期2026-10-29]
- huggingface.co 上的网页 [引用日期2026-10-29]
- Qwen2-Audio Technical Report - Skip to main content [引用日期2026-10-29]
- Qwen2-Audio Technical Report [引用日期2026-10-29]
- Qwen2-audio technical report [引用日期2026-10-29]
- aclanthology.org 上的网页 [引用日期2026-10-29]
- OpenCompass司南 [引用日期2026-10-29]
- README [引用日期2026-10-29]
- prhub.com.cn 上的网页 [引用日期2026-10-29]
- papernotes.org 上的网页 [引用日期2026-10-29]
- Audio Understanding Models (e [引用日期2026-10-29]
- arxiv.org 上的网页 [引用日期2026-10-29]