S2SBench：一种用于量化语音转语音大语言模型智能退化程度的基准测试
S2SBench: A Benchmark for Quantifying Intelligence Degradation in Speech-to-Speech Large Language Models
Yuanbo Fang, Haoze Sun, Jun Ping Liu, Tao Zhang, Zenan Zhou, Weipeng Chen, Xiaofen Xing, Xiangmin Xu
arXiv (Cornell University) · 2025-05-20
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
端到端语音大语言模型（LLMs）将基于文本的模型能力拓展至可直接处理并生成音频标记的范畴。然而，相较于文本输入，这类模型在推理与生成方面的表现往往会出现下滑，这种现象被称之为智能退化。为系统评估这一差距，我们提出了S2SBench——一种旨在量化语音大语言模型性能退化程度的基准测试工具。该基准包含针对音频输入场景下的句子续写与常识推理任务的诊断数据集。我们还进一步设计了基于合理样本与不合理样本之间困惑度差异的成对评估协议，用以衡量模型相对于文本输入的退化程度。我们利用S2SBench对百川音频模型的训练过程进行了分析，进一步验证了该基准的有效性。所有数据集与评估代码均可在https://github.com/undobug/S2SBench获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文将端到端语音大语言模型在音频输入下相较文本输入出现的推理与生成性能下降界定为“智能退化”，并主张以文本输入性能为参照进行量化。其研究对象是端到端 Speech LLMs，特别区分部分端到端、交错式全端到端和并行式全端到端三类架构，指出主流模型多继承预训练文本 LLM 能力，但音频 token 语义密度有限、序列更长以及韵律与说话人特征变化会削弱内部表征。论文提出 S2SBench，包含句子续写与常识推理两类诊断数据集，并以正负样本困惑度差异的成对评估协议测量退化。通过对 Baichuan-Audio 两阶段训练过程的评测，论文认为两阶段策略相较单阶段能更有效缓解 S→T 相对 T→T 的智能退化，并保留预训练语言知识。
- 研究方法
- 论文构建 sStoryCloze 与 zh-sStoryCloze 作为句子续写任务，其中 zh-sStoryCloze 由英文版机器翻译并替换英文人名而来；每个样本含五句，正负样本仅末句不同，正样本末句困惑度低于负样本即判正确。常识推理数据集 sCMMLU 由 GPT-4o API 对 CMMLU 重写和筛选得到 4,743 道题，每道多选题改写为前半相同、后半不同的四个陈述。评估在文本输入与音频输入两种受控条件下进行，模型结构和推理流程不变，音频先经 tokenizer 离散为音频 token 后输入模型；以正负样本 PPL 比较计算准确率，并观察 PPL 差距。实验在 Baichuan-Audio 上比较两阶段训练与单阶段训练，训练 token 总量为 109B，报告准确率、正样本损失和负样本损失，并在附录按训练步可视化 S→T 与 T→T 表现。
- 学术贡献
- 该文在语音大语言模型评估子领域提出 S2SBench 基准框架，将音频输入与文本输入的性能差作为可量化的“智能退化”指标。其材料贡献在于构造面向句子续写和常识推理的音频—文本成对诊断数据集，包括 zh-sStoryCloze 与 sCMMLU。其方法贡献是提出基于正负样本困惑度差的成对评估协议，用准确率和 PPL 差距刻画模型置信度区分，而非仅报告单一生成指标。在实证层面，论文将基准用于分析 Baichuan-Audio 的两阶段训练策略，显示两阶段训练在 S→T 设置下比单阶段训练更稳定、正负样本分离更清晰且准确率更高，从而为端到端语音 LLM 的训练策略诊断提供具体证据。
- 存在局限
- 论文的评测主要在 S→T 设置下进行，材料明确指出该范式不能完全捕捉模型以语音形式生成的能力，未直接测量 S→S 的理解与生成。zh-sStoryCloze 通过翻译引擎生成并替换英文名，材料中未明确提及对翻译质量、中文语境适配或双语语义对齐的人工校验。sCMMLU 由 GPT-4o API 重写和筛选 CMMLU 而来，材料中未报告重写后题目与原始答案一致性、选项难度平衡或人工复核。实验分析集中于 Baichuan-Audio 的训练过程，材料未明确提及多随机种子、置信区间或统计显著性检验，因此两阶段优于单阶段的结论缺少稳定性层面的统计说明。此外，基准只覆盖句子续写和常识推理两类任务，材料未涉及其他推理或生成能力的诊断。
- 进一步研究方向
- 后续可构建 S→S 评估协议，在同一诊断样本上直接比较语音输入到语音输出的理解与生成表现，并将 S→T 准确率与 S→S 生成质量作相关分析，以检验前者能否代理端到端语音能力。针对材料指出的不同模型音频 token 表示和生成策略差异，可设计跨模型可比的 S→S 标准化基准，例如统一正负样本的语音输入形式与输出评判规则，并分别测量语义正确性与语音生成稳定性。对 zh-sStoryCloze 可引入人工校验或双语对照核验流程，检验机器翻译和中文人名替换对续写困惑度比较的影响；对 sCMMLU 可人工复核 GPT-4o 重写后的四个陈述，并控制各选项长度、难度与干扰强度。训练策略方面，可在 Baichuan-Audio 之外用多个随机种子重复两阶段与单阶段对比，报告置信区间和显著性检验，并将按训练步评估扩展到更多检查点，以确定音频 token 干扰与预训练知识保留之间的转折点。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Speech Recognition and Synthesis