WavLLM：迈向鲁棒且自适应的语音大语言模型

摘要

主要观点

论文将问题定位为语音大语言模型在未见或复杂指令下的泛化不足，以及语音思维链能力的缺失，提出 WavLLM 以增强指令遵循、复杂任务处理和多轮对话能力。其核心主张是通过 Whisper 编码语义内容、WavLM 编码说话人声学特征的双编码器解耦语音信息，从而丰富语音表征并改善下游任务表现。训练上主张两阶段课程学习：先在混合单任务上建立基础能力，再在由单任务组合而成的复杂多任务上训练。第二阶段引入 prompt-aware LoRA weight adapter，根据文本提示动态调整 LoRA 输出幅度，以缓解单任务与多任务对 LoRA 缩放因子需求不一致的问题。实验宣称在同等模型规模下，WavLLM 在 ASR、ST、SV、ER、SQQA、零样本 SQA 以及多任务与 CoT 评测中优于 SALMONN、Qwen-Audio-Chat 和 Whisper+LLaMA 级联基线。

研究方法

方法路径由模型架构设计、两阶段课程训练和基准评测构成：语音端采用 Whisper-large-v2 的 32 层 Transformer 编码器提取语义，采用 WavLM-base 提取声学与说话人信息，两个模态适配器均包含一维卷积降采样、down-up bottleneck adapter 和线性投影，并在维度级拼接后送入 LLaMA-2-7B-chat。训练采用 LoRA 作用于 LLaMA 注意力模块的 key、query、value 和 output 权重矩阵，prompt adapter 通过 down-up 线性投影、GeLU 与沿序列长度的 Softmax 生成提示相关的 LoRA 缩放因子。第一阶段使用 ASR、ST、SV、ER、语音指令微调、文本指令微调及 GPT-4 生成的 SQA 等混合单任务数据，冻结 LLM、Whisper 和 WavLM，仅优化适配器、线性层与 LoRA。第二阶段使用约 2.9K 小时的多任务数据，将 ER+t-IT、ASR+t-IT、ST+t-IT、SV+t-IT、SQA+t-IT、ASR+ST、ASR+SQA、ASR+ST+t-IT 与 ASR+SQA+t-IT 等任务组合为指令。评测覆盖 LibriSpeech、CoV oST2、MUSTC、VoxCeleb1、IEMOCAP、WikiQA、MuTual、中国高考英语听力选择题以及基于 MuTual、Gigaword 和 GPT-4 生成故事的 in-house II-task 与 CoT 集，指标包括 WER、BLEU、Acc.、IFR、R-1、R-2、R-L 与 BERTScore，开放题由 GPT-4 评分并重复三次取平均，IFR 对 10% 测试话语进行人工评分。

学术贡献

在方法创新层面，论文将语义编码与声学编码分离为 Whisper 与 WavLM 双编码器，并配套模态适配器，为语音大语言模型中的语音表征解耦提供了可操作的架构方案。在训练策略层面，提出由混合单任务到高级多任务的课程学习，并以 prompt-aware LoRA weight adapter 按提示动态调制 LoRA 幅度，直接针对多任务指令下单一 LoRA 缩放因子难以兼顾单任务与多任务的问题。在实证层面，论文在 ASR、ST、SV、ER、SQQA、零样本 SQA、II-task 与 CoT 任务上报告了相对 SALMONN-7B/13B、Qwen-Audio-Chat 7B 和 Whisper+LLaMA 级联基线的性能提升，其中 II-task 的 IFR 达到 92.50%、Acc. 达到 62.44%，CoT 任务在 R-1、R-2、R-L 与 BERTScore 上均优于非 CoT 指令。在资源层面，论文公开代码、模型、音频样本与 SQA 评测集，对语音大语言模型的指令泛化、多任务执行与语音 CoT 评测子领域具有直接参考价值。

存在局限

方法设计上，SQA、II-task 等开放或半开放输出的准确率依赖 GPT-4 评分，且以三次平均降低随机性，材料未报告 GPT-4 评分与人工评分的一致性，评分器稳定性构成论证链的外部依赖。IFR 仅对 10% 的测试话语进行人工评分，样本覆盖有限，可能影响多任务指令遵循率结论的稳健性。CoT 评测音频由 Microsoft Azure TTS 合成，德语目标文本由 GPT-4 从 Gigaword 英文摘要翻译而来，合成语音与机器翻译目标相对自然语音和人工译文的生态效度在材料中未明确说明。多任务与 CoT 评测包含 in-house 数据集，摘录未完整给出其样本构成与规模；零样本 SQA 仅采用中国高考英语听力选择题，任务代表性有限。对比模型集中于同规模开源语音大语言模型与级联基线，材料中未明确提及 Whisper 与 WavLM 双编码器各自贡献以及 prompt adapter 的独立消融结果。

进一步研究方向

可设计受控消融实验，分别移除 Whisper 语义编码器、WavLM 声学编码器与 prompt adapter，在 ASR、SV、ER、SQA 与 II-task 上比较 WER、Acc. 与 IFR，以量化双编码器解耦和提示自适应 LoRA 的独立贡献。可构建自然语音与 TTS 合成语音配对、人工译文与 GPT-4 译文配对的评测集，在相同任务上测量性能差，以检验 CoT 与多任务结论对合成数据和机器翻译目标的敏感度。可将 IFR 人工评估从 10% 扩大到全量或分层抽样，并报告评分者间一致性，以增强多任务指令遵循结论的可复核性。可将 CoT 评测从 Gigaword 摘要与英德翻译扩展到更多语种、更多任务链长度和真实会议或对话语音，比较 CoT 与非 CoT 指令在 R-1、R-2、R-L、BERTScore 上的差异。可测试 prompt adapter 在未见提示模板、多轮对话和更长多任务组合下的泛化表现，并以 LoRA 缩放因子扫描作为对照，验证提示相关调制是否在单任务与多任务之间取得稳定折中。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• WavLLM：迈向鲁棒且自适应的语音大语言模型

  2024 · 被引 2

• 基于提示词感知的音频编码器混合模型对语音大语言模型的优化

  2025 · 被引 2

• SEAL：面向检索增强生成的语音大语言模型的语音嵌入对齐学习

  2025 · 被引 1

• 大型语言模型：综述

  2024 · 被引 325

• SpeechTokenizer：面向语音大语言模型的统一语音分词器

  2023 · 被引 25

• 多模态大语言模型的革命：综述

  2024 · 被引 98