基于方向性的思考：面向多说话人定向语音识别的语音大语言模型
Thinking in Directivity: Speech Large Language Model for Multi-Talker Directional Speech Recognition
Xie, Jiamin, Ju Lin, Yiteng Arden Huang, Tyler Vuong, Zhaojiang Lin, Zhaojun Yang, Peng Su, Rawat, Prashant, Srivastava, Sangeeta, Ming Sun, Florian Metze
arXiv (Cornell University) · 2025-06-17
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
近期研究证实，利用音频编码对大语言模型进行提示能够使其具备高效的语音识别能力。然而，语音大语言模型对包含空间线索的多通道音频的理解与处理能力，仍是尚未得到充分探索的研究领域。在本研究中，我们提出了一种名为directional-SpeechLlama的新方法，该方法借助智能眼镜的麦克风阵列实现定向语音识别、声源定位以及旁人交谈声抑制功能。为提升模型对方向性的理解能力，我们提出了两种关键技术：序列化方向性输出训练（S-DOT）与对比式方向数据增强（CDDA）。实验结果表明，我们所提出的directional-SpeechLlama能够有效捕捉文本线索与空间音频之间的关联，在语音识别和声源定位任务中均展现出优异的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：以智能眼镜麦克风阵列采集的多通道空间音频为输入，语音大语言模型可在文本方向提示下联合完成目标方向语音识别、声源定位与旁听者串话抑制；研究对象为多说话人方向性语音识别，问题域是语音大语言模型能否理解并利用多通道空间线索。支撑性论断包括：多通道波束形成后的通道间幅度差可表征到达方向信息；S-DOT将方向标签插入序列化参考文本，使模型联合学习方向与语音内容；CDDA通过加入非目标方向干扰说话人，让模型只转写目标方向并拒绝其他方向。实验以12个30°分辨率水平方向、单说话人远场ASR与双说话人目标方向ASR为任务，报告S-DOT在12方向单说话人设置下WER 3.84%、方向准确率92%，CDDA与Task-FT结合在多说话人任务上达到sWER 3.81%、SR 98.4%。论文还主张多阶段训练可实现从多通道ASR到方向感知ASR再到目标方向ASR的分层知识迁移。
- 研究方法
- 采用7通道LibriSpeech按Project Aria眼镜阵列配置进行仿真，使用真实环境RIR生成12个30°间隔方向，并定义-60°、-30°、0°、30°、60°五个正面关注方向；前端使用NLCMV固定波束形成器，以多通道结构保留通道间幅度差以承载到达方向信息。模型以预训练单通道SpeechLLaMA为基础，冻结音频编码器，经线性投影层与适配层接入LLaMA-3解码器，约9B参数，采用多阶段Task-FT：多通道ASR、S-DOT方向感知ASR、目标方向ASR微调。S-DOT在参考转录中插入方向标签并序列化多说话人片段；CDDA按算法采样目标方向与干扰方向语音及RIR，合成含干扰说话人的训练样本。评测使用WER、方向准确率Acc、左右侧准确率L/R Acc、成功WER sWER与成功率SR，并设置Any Direction、Sign Match、Shortest Distance三种方向标签错误恢复方案，覆盖未见方向、未见RIR和25%重叠语音等条件。
- 学术贡献
- 方法创新层面，S-DOT把serialized output training从说话人序列化扩展到方向标签序列化，使到达方向预测与ASR在同一解码序列中联合建模；CDDA以对比式方向数据增广构造目标与非目标方向样本，为目标方向转写与串话抑制提供训练信号。系统层面，多阶段Task-FT将多通道ASR、方向感知ASR与目标方向ASR串接，并复用多个固定波束形成器而不引入额外参数，面向智能眼镜阵列实现12方向、30°分辨率的方向性语音识别。材料发掘层面，构建基于7通道LibriSpeech与真实RIR的仿真评测设置，覆盖单说话人远场ASR、声源定位、双说话人目标方向ASR及同方向、目标方向缺失等扩展案例。领域拓展层面，对语音大语言模型处理多通道空间音频、目标语音提取与多说话人方向性识别这一议题给出可复现的任务定义与指标（WER、Acc、L/R Acc、sWER、SR）。
- 存在局限
- 实验数据为基于LibriSpeech和RIR的7通道仿真，材料未报告真实智能眼镜阵列录制的评测，样本以朗读语料为主，真实场景的阵列失配与噪声类型覆盖有限。方向空间限定在水平面12个30°离散方向，且S-DOT训练假设说话人在对话中不移动并始终来自单一方向，连续方位与仰角维度未纳入。多说话人主实验约束两名说话人处于不同方向，完整案例需解冻一层LLM解码器后才达到平均sWER 4.22%、SR 92.3%，基础模型不足以覆盖全部案例；CDDA最优模型虽达sWER 3.81%、SR 98.4%，但材料明确称其以牺牲未见方向表现为代价。重叠语音条件下25%重叠率时sWER升至21.32%，作者归因于预训练模型未接触重叠语音；未见方向仅报告左右侧准确率，未给出精确方向标签准确率。
- 进一步研究方向
- 可采集真实Project Aria或同类智能眼镜阵列在多人交谈、旁听者串话与不同噪声/RIR下的同步多通道语音，沿用WER、Acc、L/R Acc、sWER、SR复现并检验仿真到真实设备的性能落差。可将方向集从12个水平30°方向扩展到更细角度与仰角/3D方向，修改S-DOT方向标签与CDDA采样空间，验证连续方位与移动说话人条件下的定位和转写。可针对重叠语音构造不同重叠比例（如25%以上）的训练与评测集，检验在预训练或微调阶段引入重叠语音样本能否降低sWER。可设计保留未见方向泛化的CDDA变体与解冻策略（如比较不同解码器层解冻、case label header组合），在完整案例（同方向双说话人、目标方向缺失）上验证SR与Case Acc的取舍。材料中未明确提及的部署延迟、功耗与隐私评估可作为独立实验补充。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech and Audio Processing