基于奖励偏置的强化学习用于语境语音大语言模型
RLBR: Reinforcement Learning with Biasing Rewards for Contextual Speech Large Language Models
Bo Ren, Ruchao Fan, Yelong Shen, Weizhu Chen, Jinyu Li
arXiv (Cornell University) · 2026-01-19
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
语音大语言模型在端到端语音理解与识别领域取得了显著进展，但在准确识别罕见词及特定领域术语方面仍存在不足。本文提出了一种新颖的微调方法——基于奖励偏置的强化学习（RLBR），该方法采用专门的偏置词偏好奖励机制，以便在奖励计算中着重强调偏置词。此外，我们引入了参考感知机制，将参考转录信息融入强化学习算法，从而拓展潜在轨迹的探索空间。在LibriSpeech语料库上针对不同规模的偏置词列表开展的实验表明，RLBR相较于强大的监督微调基线模型能带来显著的性能提升，且表现也优于近期发表的几种方法。所提方法在LibriSpeech test-clean和test-other测试集上取得了优异的性能，当偏置词列表规模分别为100、500和1000时，偏置词错误率分别达到0.59%/2.11%、1.09%/3.24%和1.36%/4.04%，同时并未对整体词错误率造成负面影响。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文针对语音大模型在罕见词与领域专有术语识别上的持续失败展开研究，指出传统上下文偏置手段（shallow fusion、deep biasing、动态词表注入、上下文拼写纠错、prompt-based contextual ASR）依赖专门解码流程或架构改动，难以与LLM兼容；而已有的语音LLM上下文微调工作依靠最大化下一词似然或CTC过滤无关偏置词等辅助目标间接优化，增益有限。作者的核心主张是：偏置任务的目标可用规则化指标直接度量，因而应以强化学习直接优化目标指标而非代理目标。据此提出RLBR——在奖励计算中对偏置词施加额外权重，并引入reference-aware机制将参考转写纳入轨迹组以扩展探索空间。支撑性论断为：相对强SFT基线，RLBR在N>0的各偏置列表规模下使BWER相对下降28.2%–44.3%，同时不损害整体WER与无偏词WER（UWER），在N=100/500/1000时test-clean/test-other的BWER分别为0.59%/2.11%、1.09%/3.24%、1.36%/4.04%。
- 研究方法
- 以Phi-4-Multimodal（3.8B语言模型加460M音频编码器，80维log Mel特征、10ms帧移、最长40秒）为骨干，先用上下文增强数据做SFT得到seed model，再在其上执行GRPO强化学习微调；奖励函数设为ri=−(ED(o*,oi)+λ·EDb(o*,oi))，其中ED为字符级编辑距离，EDb只计算偏置词与其在假设中最佳匹配片段的距离，偏置词在参考转写与输入prompt中均以星号等特殊标记标注，prompt模板为“Transcribe the audio clip into text with extra attention to the following words: [biasing list]”。数据为LibriSpeech全部960小时训练集与test-clean/test-other，按已有协议为每个测试样本合成偏置列表（参考转写中的罕见词加从训练集罕见词池随机抽取的干扰词），N取100/500/1000，报告WER、BWER、UWER三项指标。训练采用LoRA（rank 320，约460M可训练参数）、8张A100、AdamW与cosine衰减（SFT峰值1e-5，RLBR为5e-6），每样本以温度1.2类别采样8条假设，λ=5、ε=0.28、β=0。消融实验分别变动λ∈{0,1,3,5}、偏置词标记有无、词级与字符级编辑距离、reference-aware开关四项。
- 学术贡献
- 方法创新层面，作者主张这是首次将强化学习用于语音LLM的上下文偏置，填补了RL在语音任务中多用于音频理解、语音问答、语音识别泛化而未涉偏置的空缺，对语音LLM与上下文ASR的交叉议题有直接价值。机制设计层面，把偏置词编辑距离以加权项并入规则奖励，使BWER成为可直接优化的目标，且无需改动模型架构或解码流程，对部署受限场景的偏置方案具有实用意义。算法适配层面，reference-aware GRPO将参考转写注入假设组与奖励集，缓解seed model在困难样本上无法采样出正确假设时探索空间受限的问题，属对GRPO在语音任务上的扩展。材料与评测层面，给出了正负样本混合的上下文数据增强流程、带标记偏置词的prompt模板，以及跨偏置列表规模的BWER/UWER评测设置，可供同类工作复用。作者并指出该框架可外推至上下文语音翻译等任务，属领域拓展方向的声明。
- 存在局限
- 评测仅限LibriSpeech，偏置列表由参考中的罕见词与随机干扰词人工合成，与真实命名实体、领域术语的分布差异未被检验；文中称在内部真实领域数据上有一致增益，但明确未给出任何实验数字，该论断缺乏材料支撑。基线对比非受控：Dynamic Vocabulary与CTC-Assisted LLM使用与本文不同的音频编码器与LLM骨干，跨表比较的可比性受限。Table 1中Phi-4-Multimodal在N=500/1000时出现WER 116/126、153/165、201/215、229/245等异常数值，材料未作任何解释，影响该列数据的可信度。消融设计不完整：λ扫描（Table 2）在词级、reference-unaware设置下进行，与最终采用的字符级加reference-aware配置不一致，λ=5在最终配置下的最优性未被验证；Table 3的四组对比仅在test-clean、λ=1、N=100/500下完成，未覆盖test-other与更大列表规模。全文未报告随机种子重复实验与显著性检验，也未给出每样本采样8条假设所带来的训练与推理开销、时延数据。
- 进一步研究方向
- 其一，在医学、法律、人名地名等真实术语场景中以真实命名实体而非随机干扰词构造偏置列表，在同一骨干上重跑N=100/500/1000并复现Dynamic Vocabulary、CTC-Assisted等基线，检验BWER优势在受控条件下是否成立。其二，做编辑距离粒度×偏置词标记×reference-aware的2×2×2全因子消融，并在λ=5、test-other上重复，配合多随机种子报告均值、方差与显著性检验，以确定各因素的独立贡献。其三，在同一seed model上把RLBR与DPO等GRPO之外的RL变体对比，并在奖励中加入偏置词虚警惩罚项，绘制BWER与UWER、虚警率的权衡曲线。其四，针对reference-aware的增益来源做分层分析：按seed model能否在G条采样中产生正确假设划分样本，比较两组的BWER差值，并扫描假设数G与采样温度，以验证“扩展探索空间”这一机制解释。其五，将该加权奖励框架迁移到上下文语音翻译或代码混合语音任务，检验偏置词加权奖励在非单语转写输出上的可移植性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis