基于偏置奖励的上下文语音大语言模型强化学习方法（RLBR）
RLBR: Reinforcement Learning with Biasing Rewards for Contextual Speech Large Language Models
Bo Ren, Ruchao Fan, Yelong Shen, Weizhu Chen, Jinyu Li
arXiv (Cornell University) · 2026-01-19
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
语音大语言模型在端到端语音理解与识别领域取得了显著进展，但在准确识别罕见词及特定领域术语方面仍存在不足。本文提出了一种新颖的微调方法——基于偏置奖励的强化学习（RLBR），该方法采用专门的偏置词偏好奖励机制，以便在奖励计算中突出强调这些偏置词。此外，我们引入了参考感知机制，将参考转录信息融入强化学习算法，从而拓展潜在轨迹的探索空间。在LibriSpeech语料库上针对不同规模的偏置词列表开展的实验表明，RLBR相较于强大的监督微调基线方法取得了显著的性能提升，且表现也优于近期发表的多种相关方法。该方法在LibriSpeech test-clean和test-other测试集上表现优异，当偏置词列表规模分别为100、500和1000时，其偏置词错误率分别达到0.59%/2.11%、1.09%/3.24%和1.36%/4.04%，同时并未对整体词错误率造成负面影响。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文聚焦语音大语言模型在端到端语音理解与识别中仍难以准确识别稀有词与领域专有术语这一问题，提出新的微调方法 RLBR（Reinforcement Learning with Biasing Rewards）。其核心论点是：在强化学习的奖励计算中显式引入专门面向偏置词的偏好奖励，使优化目标直接对准偏置词表覆盖的词项，从而缓解稀有词误识。支撑性论断之二是在强化学习算法中引入 reference-aware 机制，以参考转写扩展潜在轨迹的探索空间。论文以 LibriSpeech 语料在多种偏置词表规模下的实验支撑上述主张，报告 RLBR 相对强监督微调（SFT）基线的显著提升，并称其持续优于若干近期发表方法。在偏置词表规模为 100、500、1000 时，LibriSpeech test-clean/test-other 上的偏置词错误率（BWER）分别为 0.59%/2.11%、1.09%/3.24%、1.36%/4.04%，且整体 WER 未因此变差。
- 研究方法
- 研究采用方法设计与对照实验相结合的路径：先构造 RLBR 微调流程，在奖励函数中嵌入面向偏置词的偏好奖励项，并叠加 reference-aware 的轨迹探索机制；再以 LibriSpeech 语料为实验载体，按 100、500、1000 三种偏置词表规模设置条件，逐档考察偏置词表大小对识别效果的影响。评价指标为偏置词错误率（BWER）与整体词错误率（WER），并以监督微调（SFT）作为强基线、与若干近期发表方法作横向比较；测试集明确落在 LibriSpeech test-clean 与 test-other 上。材料中未明确提及训练集与开发集的划分方式、随机种子与重复实验次数，也未提及各模块的消融实验设计，还未说明奖励函数的具体形式、超参数设置与训练算力开销。材料中未明确提及是否包含人工评测或统计显著性检验。
- 学术贡献
- 贡献首先落在方法层面：将偏置词偏好奖励引入强化学习的奖励塑形环节，使奖励计算显式区分偏置词与普通词，为语境偏置（contextual biasing）提供了一条区别于以往加权解码或浅层融合的优化路径。其次，reference-aware 机制把参考转写纳入强化学习算法以扩展轨迹探索空间，属于对强化学习微调流程的改造。在材料层面，论文在 LibriSpeech 上给出偏置词表 100/500/1000 三档的 BWER 与整体 WER 数值，构成可供比较的评测参照点。这些工作对语音大语言模型的稀有词与领域术语识别这一子议题有直接价值，也关联到端到端语音识别中偏置词表规模敏感性这一具体问题。
- 存在局限
- 局限首先在语料覆盖范围：实验仅基于 LibriSpeech，其朗读式英语有声书语音在口音、信道、口语化程度与领域多样性上均较单一，材料中未明确提及其他语种、口音、对话式语音或代码转换场景的验证，因此结论的跨域外推能力缺乏依据。其次是实验条件的设计：偏置词表仅取 100、500、1000 三档，均未覆盖更大规模词表或高干扰项密度的困难设置，也未报告多次运行的方差与显著性。第三是论证链条：摘要层面未呈现消融结果，无法判断性能提升中有多少来自偏置词偏好奖励、多少来自 reference-aware 机制，两者的独立贡献因此无法判断。此外，材料中未明确提及强化学习微调相对 SFT 的训练与推理开销，也未给出仍被误识的偏置词的具体错误类型分析。
- 进一步研究方向
- 其一，把同一实验框架迁移到口音语音、对话式语音与多语种语料，在保持 BWER/WER 双指标的前提下检验偏置词偏好奖励是否仍然成立，并观察词表规模超过 1000 时的性能曲线与拐点。其二，设计严格的消融与奖励塑形对照：分别关闭偏置词偏好奖励、关闭 reference-aware 机制、替换奖励权重调度，测量各组件对 BWER 与整体 WER 的边际贡献，从而定位收益来源。其三，针对偏置词表加入语义或音素相近的干扰词，构造高混淆词表，按词频与音素可混淆度分层统计错误率，刻画方法在何种词项上失效。其四，测量强化学习微调引入的训练算力与解码延迟增量，并检验推理阶段无参考转写时 reference-aware 探索的收益是否仍可保留。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis