WavLLM：迈向鲁棒且自适应的语音大语言模型

摘要

主要观点

论文的核心论点是：将听力能力有效整合进大语言模型的关键障碍在于跨语境泛化与复杂听觉任务执行，尤其是专用任务对提示设计高度敏感、面对未见或复杂指令时性能下降，以及缺少语音思维链能力。为此，作者提出 WavLLM，采用双编码器解耦语音信息：Whisper 编码器处理语义内容，WavLM 编码器捕捉说话人身份等声学特征。模型通过两阶段课程学习优化，先进行混合基础单任务训练，再在基础任务组合的复杂多任务上进阶训练，并在第二阶段引入提示感知 LoRA 权重适配器。提示感知 LoRA 适配器根据文本提示动态调整 LoRA 输出幅度，以兼顾单任务与多任务指令。实验声称在同模型尺寸下于 ASR、ST、SV、ER、SQQA、SQA 等任务达到最优，并在 II-Task 和语音 CoT 评估中展现鲁棒泛化，零样本完成高考英语听力理解。

研究方法

模型架构上，使用 Whisper-large-v2 的 32 层 Transformer 编码器提取语义，WavLM-base 提取声学与说话人信息；两个模态适配器各含两个一维卷积降采样对齐、down-up 瓶颈适配器和线性投影，声学适配器对 WavLM 各层隐状态进行可学习加权求和，两路表示拼接后投影入 LLaMA-2-7B-chat。LoRA 应用于 LLaMA 注意力模块的 key、query、value、输出权重矩阵；prompt adapter 以文本提示的 LLaMA 表示为输入，经下投影、GeLU、上投影和序列维 softmax 生成 LoRA scaling 向量，按公式调制 LoRA 输出。训练采用两阶段课程学习：第一阶段冻结 LLM、WavLM、Whisper，只优化模态适配器、线性层和 LoRA，数据涵盖 ASR、ST、SV、ER、口语指令微调、文本指令微调及 GPT-4 生成的 SQA，语料包括 LibriSpeech、AMI、Fisher、Switchboard，口语指令音频由 Microsoft Azure TTS 生成。第二阶段使用 2.9K 小时多任务数据，组合 ER+t-IT、ASR+t-IT、ST+t-IT、SV+t-IT、SQA+t-IT、ASR+ST、ASR+SQA、ASR+ST+t-IT、ASR+SQA+t-IT 等，训练目标为顺序完成任务并先重复提示关键部分。评估分单任务与多任务：单任务在 LibriSpeech、CoVoST2、MUSTC、VoxCeleb1、IEMOCAP、WikiQA、MuTual 及高考英语听力集上测 WER、BLEU、Acc；多任务用 in-house II-Task（基于 MuTual）测 Acc 与 IFR，用基于 Gigaword 和 GPT-4 生成故事的 CoT 集测 R-1、R-2、R-L、BERTScore。开放输出与 SQQA、II-Task 准确率由 GPT-4 评分三次取平均，IFR 由人工在 10% 测试话语上评分。

学术贡献

理论建构层面，提出双编码器解耦语音语义与说话人声学信息的架构，将 Whisper 语义编码与 WavLM 声学编码拼接后接入 LLaMA，为语音大语言模型的多任务表示提供新路径。方法创新上，设计 prompt-aware LoRA 权重适配器，依据文本提示在线生成 LoRA scaling factors，回应材料所述单任务与多任务需要不同 LoRA scaling 的矛盾。训练策略贡献，将课程学习用于 speech LLM，从混合单任务到复杂多任务，并构造 2.9K 小时多任务组合数据，推动多任务指令与语音 CoT 评估。材料与资源贡献，公开代码、模型、音频和高考评估集，并构建 GPT-4 生成的 SQA 与多任务指令数据，为语音问答和听力理解评测提供资源。领域拓展上，在 ASR、ST、SV、ER、SQQA、SQA 及 II-Task/CoT 上报告同尺寸最优结果，零样本高考英语听力理解无需专门训练即完成，显示跨任务泛化与 CoT 能力。这些贡献直接关联语音大语言模型子领域中的多任务指令遵循、复杂听觉任务分解和零样本听力理解议题。

存在局限

多任务评估集 II-Task 与 CoT 为 in-house，基于 MuTual、Gigaword 及 GPT-4 生成故事构造，材料未说明其样本规模、公开性和标注一致性，外部可复现性与代表性受限。开放输出、SQQA 与 II-Task 准确率依赖 GPT-4 评分三次平均，IFR 仅人工评 10% 测试话语，材料未报告 GPT-4 评分与人工评分的一致性，评分效度未验证。双编码器、prompt-aware LoRA 与两阶段课程学习同时引入，材料 excerpt 未完整展示单独移除 WavLM/Whisper、去除 prompt adapter 或使用静态 LoRA scaling 的消融，难以分离各组件贡献。训练中口语指令微调音频由 Azure TTS 生成，SQA 与 CoT 相关内容由 GPT-4 生成或翻译，ST 评估为 En2De，多任务翻译英到中，Gaokao 为英语听力，材料未明确非英语、真实人声、噪声与口音条件下的表现。多轮对话仅称支持并在附录 E 给实例，未提供上下文保持、任务切换等定量指标；CoT 评估只报告最终指标，未报告中间 ASR 与摘要步骤的错误传播。模型规模限于 LLaMA-2-7B-chat，虽与 13B 开源模型比较，但未验证更大规模或不同 LLM 主干下方法是否同样有效。

进一步研究方向

在固定 advanced multi-task 数据和 LLaMA-2-7B-chat 下，设置无 prompt adapter、静态 LoRA、固定 scaling 与 prompt-aware 动态 scaling 四组对照，测 ASR WER、II-Task IFR/Acc 及 unseen/diverse prompts 表现，检验材料中 3.5% 对 2.1% 提示敏感度差异是否被缓解。对双编码器做因子消融：仅 Whisper、仅 WavLM、交换语义与声学适配器、冻结或微调适配器，在 LibriSpeech、CoVoST2、VoxCeleb1、IEMOCAP 上比较 WER、BLEU、Acc，验证语义内容与说话人声学解耦假设。公开并扩大 in-house II-Task 与 CoT 评估集，覆盖材料列出的 ER+t-IT、ASR+t-IT、ST+t-IT、SV+t-IT、SQA+t-IT、ASR+ST、ASR+SQA、ASR+ST+t-IT、ASR+SQA+t-IT 组合，由人工与 GPT-4 双评分并报告一致性，同时记录 CoT 中间步骤准确率与错误传播。用真实人声替换 Azure TTS 合成语音构建口语指令、SQA 与 CoT 训练集，在高考听力集和 CoT 集上测合成到真实域的偏移，并加入非英语 ASR、跨语言 SQA、噪声与口音条件。设计多轮对话基准，给定连续音频与文本指令，测量上下文保持、指代消解、任务切换，以补充材料仅附录实例的不足。将 LLaMA-2-7B-chat 替换为更大或不同 LLM 主干，保持双编码器、prompt adapter 与课程学习，观察各 benchmark 变化，验证方法的规模可迁移性。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 大型语言模型全面概述

  2023 · 被引 362

• 大型语言模型：综述

  2024 · 被引 324

• 缩小语音大语言模型的多模态推理差距

  2026 · 被引 1

• 缩小语音大语言模型的多模态推理差距

  2026 ·

• SpeechTokenizer：面向语音大语言模型的统一语音分词器

  2023 · 被引 25

• S2SBench：一种用于量化语音转语音大语言模型智能退化程度的基准测试

  2025 ·