缩小语音大语言模型的多模态推理差距

摘要

主要观点

论文针对 Speech LLMs 中语音输入推理表现显著弱于文本输入的 modality reasoning gap。该 gap 可能与 Transformer 层间的 representational drift 以及长链推理中的 behavior deviations 有关。为此提出 TARS，一个通过 asymmetric reward design 对齐 text-conditioned 与 speech-conditioned trajectories 的 reinforcement-learning 框架。框架包含两个 dense 且互补的信号：representation alignment 度量语音与文本条件轨迹的逐层 hidden-state 相似度，behavior alignment 评估生成输出与参考文本 completion 的语义一致性。在 MMSU、OBQA 等推理基准上，TARS 显著缩小 modality reasoning gap，并在 7B-scale Speech LLMs 中达到 state-of-the-art performance。论文以 Modality Recovery Rate (MRR) 量化恢复程度，目标为 MRR ≥ 100%，并报告 Qwen2.5-Omni 与 Phi-4-MM 上的具体提升。

研究方法

方法路径为 on-policy reinforcement learning，采用 GRPO 与 asymmetric reward，Rtotal = Rbase + α·Rrep + β·Rbeh。Rbase 由 xFinder 判定的任务准确性与格式奖励构成；Rrep 对生成推理 token 的逐层 hidden states 做 mean-pooling 后计算余弦相似度；Rbeh 用 Qwen3-Embedding-0.6B 计算最终输出与文本参考的语义相似度。训练时每个 prompt 生成 G=8 个 completion，speech 与 text 各半，文本 completion 既作为移动参考也参与梯度更新，并使用 modality-specific normalization 分模态计算 advantage，采用 DAPO loss 与 LoRA 微调线性层，冻结 audio encoder 和 projector。材料方面，使用 UnifiedQA 训练集，用 CosyVoice2 和 openaudio-s1-mini 合成语音，参考说话人来自 Emilia-YODAS EN 子集，经 whisper-medium 以 10% WER 阈值过滤，得到 9,953 samples、203 小时。评测在 VoiceBench 的 MMSU（3,074）与 OBQA（455）上报告 Audio/Text accuracy 和 MRR，并在 LibriSpeech test-clean/test-other 报告 WER，比较 cascaded/proprietary、cross-modal alignment、SFT、DPO、Standard GRPO 等基线。

学术贡献

在理论/方法层面，提出无需架构修改的 on-policy RL trajectory alignment 框架，直接对齐 speech-conditioned reasoning trajectory 与 text-conditioned counterpart，以缩小 modality reasoning gap。在方法设计上，提出 asymmetric dense reward，将 representation alignment 与 behavior alignment 组合，并用 modality-specific normalization 避免语音完成因基础奖励低而持续获得负 advantage。在实验层面，TARS 在 MMSU、OBQA 上超过 SALAD、MiniCPM-o、Knowledge Distillation 等基线，在 7B 规模达到 state-of-the-art；Qwen2.5-Omni 平均音频准确率 76.84%、MRR 98.89%，Phi-4-MM 平均音频准确率 79.80%、MRR 100.45%。论文还报告文本准确率提升，Qwen2.5-Omni 从 76.17% 到 78.56%，Phi-4-MM 从 78.39% 到 83.82%，同时 LibriSpeech WER 基本不变（约 4.16%–4.24%），表明增益来自 reasoning alignment 而非 ASR 改进。材料发掘与可复现性方面，作者释放 datasets 和 code，对语音 LLM 推理对齐与 RL 在 speech reasoning 中的应用具有领域拓展价值。

存在局限

实验仅覆盖 MMSU、OBQA 两个语音多选 QA 基准和 LibriSpeech WER，且只在 7B 规模的 Qwen2.5-Omni 与 Phi-4-MM 上验证，材料中未明确提及更大模型、其他语音任务或真实会话场景的系统评估。训练数据为 UnifiedQA 加 TTS 合成语音，并以 10% WER 过滤，未说明真实语音、口音、噪声、副语言线索及说话人多样性对轨迹对齐的影响。奖励依赖同组正确的文本 completion；当不存在正确文本完成时 Rrep 与 Rbeh 置 0，论文报告该情况占 5.9%–10.7%，这些样本仅受基础奖励约束，可能限制对齐覆盖。论文把残余差距归因于 imperfect speech representations 与 cross-modal projection noise，但未通过独立实验分离二者贡献，也未系统报告 α、β、对齐层选择、pooling 策略或外部 embedding 模型的影响。文本分支作为移动参考并同时参与梯度更新，材料中未明确报告参考质量变化与语音轨迹对齐之间的因果分析，也未给出训练稳定性或收敛性的细粒度诊断。

进一步研究方向

可构建真实语音、多口音、噪声与副语言条件下的配对 speech-text 推理评测，沿用 MRR 并在 MMSU、OBQA 之外扩展 VoiceBench 任务，验证 TARS 的对齐泛化性。针对 Rrep 与 Rbeh 置 0 的 5.9%–10.7% 样本，可设计替代参考，如跨组最佳文本 completion、自一致性聚合或可学习的文本代理奖励，检验这些困难样本的 MRR 能否提升。可做系统消融，变动 α、β、对齐层集合、pooling 策略与外部 embedding 模型，测量 representation drift 与 behavior divergence 各自对推理表现的贡献。可在不同模型规模、不同 audio encoder/projector 架构及更多 Speech LLMs 上重复训练，验证方法是否依赖 7B 参数量与 LoRA 设置。可比较固定文本 teacher 与文本分支共同进化两种协议，观察 speech 轨迹对齐的稳定性以及文本推理增益的来源。可结合层间探针或干预实验，定位 cross-modal projection noise 与 imperfect speech representations 对残余 modality gap 的具体作用。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 缩小语音大语言模型的多模态推理差距

  2026 ·

• WavLLM：迈向鲁棒且自适应的语音大语言模型

  2024 · 被引 2

• 大型语言模型具备零样本推理能力

  2022 · 被引 1,072

• 语言模型中的多模态思维链推理

  2023 · 被引 109

• 大型语言模型具备零样本推理能力

  2022 · 被引 1,973

• S2SBench：一种用于量化语音转语音大语言模型智能退化程度的基准测试

  2025 ·