基于语音大语言模型的二语口语能力评估
Assessment of L2 Oral Proficiency using Speech Large Language Models
Rao Ma, Mengjie Qian, Siyuan Tang, Stefano Bannò, Kate Knill, Mark Gales
arXiv (Cornell University) · 2025-05-27
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
随着英语作为第二语言的使用者人数不断增加，开发自动化口语评估工具的需求也日益凸显。以往，统计模型、文本编码器以及自监督语音模型均被应用于这一领域，但级联系统存在信息损耗问题，端到端评分器也存在一定局限性。借助近期多模态大语言模型的快速发展，本研究旨在探索其作为二语口语能力评分工具的潜力，以突破上述瓶颈。在本研究中，我们对比了采用回归与分类目标的多种训练策略。结果显示，语音大语言模型的表现优于以往所有具有竞争力的基准模型，在两组数据集上均取得了更优成绩。此外，经过训练的评分器在跨参与者或跨任务评估中展现出强大的泛化能力，这得益于大语言模型预训练过程中获得的音频理解知识。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将二语英语口语整体水平评分建模为语音大模型的条件生成或分类任务，核心论点是speech LLM可直接从语音输入预测与人工评分对齐的holistic score，从而避免级联ASR的信息损失，并弥补纯语音自监督模型对内容、词汇、语法和语篇连贯等维度覆盖不足的问题。研究的具体问题是在数据受限且考生存在L2口音、不流畅和语法错误的条件下，speech LLM能否作为SLA grader并超过wav2vec2 grader与BERT级联grader。支撑性论断包括：Qwen2Audio经LoRA适配后，采用fair average loss与soft decoding在Linguaskill的LinGen和LinBus上分别达到PCC 0.954和0.938，优于所比较的baselines；zero-shot设置下整体PCC约为0.64，显示speech LLM在L2口语评分中的emergent ability。跨part与跨task评估进一步表明，模型在仅用part 2 read-aloud数据训练时仍取得整体PCC 0.911，作者将这一泛化归因于LLM预训练阶段获得的audio understanding knowledge。
- 研究方法
- 方法路径以Qwen2-Audio-7B-Instruct为基座，将评分表述为基于CEFR descriptor prompt的A至F等级分类，并比较cross entropy loss、fair average loss与回归头三种训练目标；解码阶段比较hard decoding与soft decoding，其中soft decoding用fair average聚合各类别概率。适配时在encoder和decoder层插入rank为16的LoRA adaptor，新增约10M参数，训练2个epoch，学习率1e-4，采用cosine学习率调度与weight decay，Linguaskill批量为64，S&I批量为8。材料与样本包括私有Linguaskill数据集31,476条训练、1,033条dev、1,049条LinGen和712条LinBus提交，以及S&I的6,640条训练和438条dev提交；两套测试均含5个part，part 2为read-aloud，part 3和4为1分钟独白，part 5为短问答，part 3和4因Qwen2Audio仅接受30秒以内音频而被切成两段30秒并在评测时取平均。评价指标为RMSE、PCC和SRC，dev集用于提取线性校准因子，baselines包括wav2vec2 grader和以Whisper small.en为ASR前端的BERT级联grader。
- 学术贡献
- 方法创新在于把holistic SLA评分转化为speech LLM的文本等级分类与软平均预测，提出fair average loss与soft decoding以保留0.5分中间评分，较cross entropy将分数四舍五入到最近整数减少信息损失，并与回归方法形成系统比较。材料发掘层面，论文在Linguaskill的General与Business测试集及低资源S&I语料上构建并评估评分器，报告matched、cross-part和cross-task结果，为SLA自动评分提供了可复现的实验设置与基线对照。领域拓展层面，论文将speech LLM从以往有限的pronunciation scoring推进到包含语法、词汇、连贯与流利度等维度的holistic oral proficiency评分，证明端到端语音LLM可超过wav2vec2 E2E grader和BERT cascaded grader，对自动口语评分与CALL反馈系统提供直接的系统方案。
- 存在局限
- 方法设计上仅测试Qwen2-Audio-7B-Instruct一个基座，材料中未明确提及多模型或多语言复现；fair average loss仍以离散A至F等级为输出，0.5分通过soft average近似而非原生连续监督，回归方法又因新增线性层而无法进行zero-shot评估。样本代表性上，Linguaskill为私有数据集，S&I dev仅包含parts 1、3至5而缺少part 2，跨task评估因此受限；作者虽提到版权限制与人工标注不一致是数据挑战，但材料未报告标注者间一致性分析。论证链条上，Qwen2Audio仅接受30秒以内音频，part 3和4被强制切为两段30秒后平均，材料未报告切分方式对长语篇连贯性与流利度评分的消融结果；zero-shot因LLM的positional bias而多数输出C和D，说明无训练条件下的评分分布校准仍不足。
- 进一步研究方向
- 作者提出探索模型在L2评分中的emergent capabilities，尤其是为所给分数提供reasoning与feedback；可操作路径是在Linguaskill和S&I上要求Qwen2Audio同时输出分数与CEFR维度理由，由人工评分者按一致性和诊断性评估，并与仅输出分数的模型做对照。针对长音频切分问题，可比较整段可接受模型、分段加注意力聚合与当前两段平均策略对part 3和4的PCC、RMSE及连贯性维度评分的影响，检验切分是否损害长语篇评估。针对S&I缺少part 2，可收集或公开read-aloud子集以复现跨part迁移实验，检验read-aloud训练到free-speaking评分的泛化边界。材料未明确多模型比较，可扩展到其他speech LLM与更多L2口音群体，进行跨模型、跨语言和跨数据集的复现实验。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis