SPBA：利用语音大语言模型实施语音分类模型的后门攻击
SPBA: Utilizing Speech Large Language Model for Backdoor Attacks on Speech Classification Models
Wenhan Yao, Fen Xiao, Chen, Xiarun, Jia Liu, Yongqiang He, Wen, Weiping
arXiv (Cornell University) · 2025-06-10
开放获取大模型与语言语音与音频影响因子 ≈0.2
摘要
语音分类任务，包括关键词识别与说话人验证，在基于语音的人机交互中发挥着至关重要的作用。近期研究揭示，这些技术的安全性极易受到后门攻击的影响。具体而言，攻击者会利用噪声干扰触发器与语音元素触发器来生成被污染的语音样本，从而诱导模型产生漏洞。然而，由于触发器功能的固有局限性，这类方法通常只能创建数量有限的后门。本文提出，语音后门攻击可针对性地聚焦于音色、情感等语音元素，借助语音大语言模型生成多样化的触发器。虽然增加触发器数量可能会过度提升样本污染率，进而导致更高的攻击成本以及单个触发器的较低成功率。我们引入多梯度下降算法作为应对这一挑战的缓解策略。所提出的攻击方式被称为语音提示后门攻击（SPBA）。在此基础上，我们对两类语音分类任务开展了攻击实验，结果表明SPBA具备显著的触发器有效性，在各项攻击指标上均表现出优异的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出语音后门攻击可聚焦音色与情感等语音要素，利用语音大语言模型（SLLM）生成多样化触发器，并将该方法命名为SPBA（Speech Prompt Backdoor Attack）。其核心论断是：单一触发器对应单一后门，易被Neural Cleanse等后门移除方法防御；但触发器数量增加会使总体投毒率不成比例上升、单个触发器成功率下降，因此需引入多梯度下降算法（MGDA）平衡主任务与多个后门任务。研究对象为语音分类模型，具体覆盖关键词识别（KWS）与说话人验证（SV）两类任务，涉及ResNet18、Attention-LSTM、KWS-VIT、EAT-S、ECAPA-TDNN、SincNet等受害模型。作者声称SPBA在两类任务上以较低投毒率取得最优攻击成功率，并发现愤怒、快乐等强烈情感触发器比悲伤更快达到高ASR，而男性与女性触发器之间无显著差异。
- 研究方法
- 采用基于数据投毒的后门攻击威胁模型，攻击者只能修改开放训练数据集，不能改变模型参数值，但可调整损失函数、学习计划等训练环节。流程分三阶段：攻击阶段先用Paraformer转写未污染子集，以ESD数据集中的语音提示为参考，用SLLM合成含女性、男性、愤怒、悲伤、快乐等触发器的投毒子集并改写标签；训练阶段将后门攻击建模为多任务学习，按式(9)求解各任务梯度的缩放系数λ并构成平衡损失；推理阶段分别用干净测试集与投毒测试集评估。实验在Google Speech Commands v2（KWS）与VoxCeleb1（SV）上进行，对比BadNets、PIBA、DABA、Ultrasonic、PBSM、VSVC六种基线，设置不含MGDA的K=3、K=5与含MGDA的K=3、K=5四组配置。评价指标包括ASR、AV、PN，以及10名被试各听30条样本给出的MOS和以Qwen-Audio计算的Micro-F1触发器准确率TA。
- 学术贡献
- 在方法层面提出SPBA，将SLLM用于生成音色与情感两类语音要素触发器，实现同一语音分类模型中注入多个后门。在算法层面将MGDA引入后门训练，使每个触发器所需投毒样本降至90至130条，缓解多触发器带来的总体投毒率上升与单触发器效能衰减。在评测层面引入Qwen-Audio多模态模型计算情感类别与说话人相似度的触发器准确率，与人工MOS形成互补。实验发现强烈情感触发器（愤怒、快乐）在约110条投毒样本时即达到高ASR，性别触发器之间差异不显著，为语音要素触发器的选择提供具体依据。这些贡献主要指向语音分类安全与后门攻防这一子领域。
- 存在局限
- 材料中未报告针对Neural Cleanse、微调、剪枝等具体后门防御方法的实验，论文仅以推理方式声称多后门更难被移除，缺少防御侧的实证验证。MOS评价只邀请10人、每人听30条样本，规模有限，且未说明被试背景与听音条件，情感与音色触发器自然度结论的稳健性不足。TA依赖Qwen-Audio单一模型判定，未做人工交叉验证或模型间一致性检验。MGDA部分仅给出λ_i≥1的约束写法，未说明该约束的合理性，也未讨论K超过5或不同投毒率下的表现，同时未解释强烈情感触发器更高效的声学成因。此外，实验仅在英语数据集上进行，材料未提及跨语言、跨数据集的泛化测试。
- 进一步研究方向
- 可在SPBA训练出的多后门模型上系统运行Neural Cleanse、微调、剪枝与触发器逆向等防御，测量多触发器相对单触发器的存活率，以检验多后门更难移除这一论断。可将SLLM生成的触发器与音高、节奏等既有语音要素触发器组合，在K=2至K=8范围内绘制投毒率与ASR的关系曲线，并对比MGDA与不使用MGDA、不同λ约束设定下的训练效果。可对愤怒、快乐、悲伤触发器提取基频与频谱特征，与ASR增长曲线做相关分析，检验强烈情感更高效的成因。可扩大MOS被试规模并加入听辨提及触发器的任务，同时用多个多模态模型交叉计算TA，以检验Qwen-Audio判定的一致性。还可在多语言语音数据集上重复KWS与SV实验，考察跨语言迁移下SPBA的攻击与防御表现。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning