语音大语言模型的模态推理鸿沟弥合研究
Closing the Modality Reasoning Gap for Speech Large Language Models
Chaoren Wang, Heng Lu, Xueyao Zhang, Shujie Liu, Yan Lu, Jinyu Li, Zhizheng Wu
arXiv (Cornell University) · 2026-01-09
开放获取大模型与语言推理与思维链语音与音频影响因子 ≈0.2
摘要
尽管语音大语言模型已取得显著进展，但模态推理鸿沟依然存在：其在语音输入上的推理表现明显弱于文本输入。这一鸿沟可能与Transformer各层的表征漂移以及长链推理中的行为偏差有关。为解决这一问题，我们提出了TARS这一强化学习框架，通过非对称奖励设计来对齐基于文本和语音的条件化轨迹。该框架采用两种密集且互补的信号：表征对齐用于衡量语音与文本条件化轨迹在各层的隐藏状态相似性；行为对齐则用于评估生成输出与参考文本补全之间的语义一致性。在MMSU和OBQA等具有挑战性的推理基准测试中的实验表明，我们的方法能有效缩小模态推理鸿沟，并在7B参数规模的语音大语言模型中取得最优性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对语音大语言模型在语音输入上的推理表现显著弱于文本输入的“模态推理差距”，指出该差距可能与Transformer层间的表示漂移以及长链推理中的行为偏差相关。作者提出TARS，一个通过非对称奖励设计对齐文本条件与语音条件推理轨迹的强化学习框架。其核心论断是：仅靠输入侧模态融合或输出侧静态监督不足以消除差距，需同时约束内部表示与外部行为。TARS采用两个密集互补信号：表示对齐衡量语音与文本条件轨迹的逐层隐藏状态相似度，行为对齐评估生成输出与参考文本完成之间的语义一致性。在MMSU和OBQA上的实验表明，该方法显著缩小模态推理差距，并在7B规模语音大语言模型中取得状态最优性能。
- 研究方法
- 研究将UnifiedQA训练集构造成配对语音—文本输入，使用CosyVoice2与openaudio-s1-mini合成语音，参考说话人取自Emilia-YODAS英文子集，并以whisper-medium按10% WER阈值过滤，最终得到9,953个样本、203小时训练数据。实验对象为Qwen2.5-Omni和基于Phi-4-7B的Phi-4-MM两个约7B复合语音大语言模型，采用LoRA微调线性层并冻结音频编码器与投影器。训练使用GRPO，组大小G=8且每组等量语音条件与文本条件完成，采用DAPO损失和模态特定归一化；总奖励由基础奖励、表示对齐奖励与行为对齐奖励构成。表示对齐奖励对生成推理token的逐层隐藏状态做均值池化后计算跨层平均余弦相似度，行为对齐奖励用Qwen3-Embedding-0.6B计算生成语音完成与文本参考的语义余弦相似度。评估在VoiceBench的MMSU与OBQA上报告音频与文本准确率及模态恢复率MRR，并在LibriSpeech test-clean与test-other上报告WER，同时消融CoT提示、SFT、DPO、标准GRPO及各奖励分量。
- 学术贡献
- 理论建构层面，论文将语音大语言模型的模态推理差距明确表述为文本条件与语音条件推理轨迹之间的表示漂移和行为偏差，并区分输入侧融合与输出侧监督的局限。方法创新层面，提出on-policy强化学习轨迹对齐框架，在不修改模型架构的前提下联合优化任务准确率、逐层表示对齐与输出语义对齐，并以非对称奖励和模态特定归一化处理语音与文本奖励基线不一致的问题。材料发掘层面，论文声明发布数据集与代码以支持可复现研究。领域拓展层面，其贡献主要指向语音大语言模型的复杂推理与跨模态对齐子领域，尤其是7B规模模型在MMSU、OBQA等推理基准上的语音—文本差距缩小。
- 存在局限
- 训练语音由两个TTS系统合成并经10% WER阈值过滤，参考说话人仅取自Emilia-YODAS英文子集，材料中未报告真实录音、噪声或多口音场景下的配对数据构成。奖励设计在组内无正确文本完成时将表示对齐与行为对齐奖励置零，材料报告该情况占5.9%—10.7%，这些样本组内的对齐信号被削弱。评估集中于MMSU与OBQA两个语音多选题问答基准，并以LibriSpeech WER诊断ASR能力，材料未报告其他推理任务或更大参数规模模型上的结果。作者指出改进后的文本准确率仍高于语音准确率，并将残差归因于不完美的语音表示与跨模态投影噪声，说明差距尚未完全消除；同时训练中冻结音频编码器与投影器，方法作用范围限于LoRA可调部分。
- 进一步研究方向
- 可构建真实录音、多口音与噪声条件下的配对语音—文本推理数据，沿用TARS的训练与MRR评估流程，检验表示对齐和行为对齐在非合成语音上的效果是否保持。可对表示对齐奖励做逐层选择与层权重消融，比较当前跨L层平均余弦相似度与仅约束特定层或加权层的差异，以定位表示漂移的主要层段。针对无正确文本完成时奖励置零的样本组，可设计基于语义相似度检索或外部嵌入的替代参考信号，并比较其对MRR与训练稳定性的影响。可在更多7B以外规模或不同编码器—投影器—解码器架构的语音大语言模型上复现实验，验证模态特定归一化与非对称奖励的适用边界。还可引入人工标注的长链推理过程评估，将最终答案准确率之外的推理步骤一致性纳入分析，以补充当前主要依据最终输出语义一致性的行为对齐证据。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis