基于语音大语言模型的语音分类模型后门攻击方法（SPBA）
SPBA: Utilizing Speech Large Language Model for Backdoor Attacks on Speech Classification Models
Wenhan Yao, Fen Xiao, Xiarun Chen, Jia Liu, Yongqiang He, Weiping Wen
International Joint Conference on Neural Networks (IJCNN) · 2025-06-30
开放获取大模型与语言语音与音频被引前 50%影响因子 ≈1.0
摘要
语音分类任务，包括关键词识别与声纹验证，在基于语音的人机交互领域具有重要地位。近期研究揭示，这类技术极易遭受后门攻击。具体而言，攻击者利用噪声干扰触发器和语音元素触发器来生成带毒语音样本，从而诱导模型产生漏洞。然而，由于触发器功能存在固有局限，这些方法通常只能创建有限数量的后门。本文提出，语音后门攻击可针对性地聚焦于音色、情感等语音元素，借助语音大语言模型生成多样化的触发器。虽然增加触发器数量可能会过度提升样本污染率，进而导致攻击成本上升且单个触发器的成功率降低，但我们引入多梯度下降算法作为应对这一挑战的缓解策略。所提出的攻击方法被命名为语音提示后门攻击（SPBA）。在此基础上，我们对两类语音分类任务开展了攻击实验，结果表明SPBA具备显著的触发器有效性，在各项攻击指标上均表现出优异性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 本文提出语音后门攻击可聚焦音色、情感等语音要素，借助语音大语言模型（SLLM）生成多样化触发器，在语音分类模型中植入多个后门，方法称为Speech Prompt Backdoor Attack（SPBA）。论文将噪声/扰动触发器与语音要素触发器对照，指出单一触发器只对应一种语音属性，易受Neural Cleanse等后门移除方法影响；多触发器可增加防御难度，但会推高投毒率并稀释单个触发器效果。作者据此引入Multiple Gradient Descent Algorithm（MGDA），以平衡主分类任务与多个后门任务，使每种触发器在常规投毒率下接近单独使用时的攻击效果。在关键词识别（KWS）与说话人验证（SV）任务上，SPBA以3个和5个触发器配置进行实验，报告ASR、AV、PN及MOS、触发器准确率等指标，主张其触发器有效性和攻击指标优于对比基线。
- 研究方法
- 采用基于数据投毒的威胁模型，限定攻击者只能修改开放训练数据、不能改模型参数，并把攻击流程拆为攻击、训练、推断三阶段。攻击阶段先用Paraformer转写未污染子集，再从ESD选取含女性、男性、愤怒、悲伤、开心等触发属性的语音构建提示数据集，由SLLM依据源文本和参考语音/文本合成中毒样本并改写为目标标签。训练阶段把干净分类任务与各触发器对应的后门任务视为多任务目标；当批次仅含干净样本时用常规优化器，当批次混合干净与中毒样本时启用MGDA计算各任务梯度及缩放系数，形成平衡损失。实验在Google Speech Commands v2上训练ResNet18、Attention-LSTM、KWS-ViT、EAT-S四个KWS模型，在VoxCeleb1上训练ECAPA-TDNN、SincNet两个SV模型，并与BadNets、PIBA、DABA、Ultrasonic、PBSM、VSVC对比。评价使用ASR、AV、PN，以及10名听测者对每人30条样本的MOS和Qwen-Audio计算的触发器准确率（Micro-F1），并做不同情感与性别触发器的消融。
- 学术贡献
- 在方法层面将SLLM的语音属性生成能力引入语音后门触发器构造，把音色与情感组合为多触发器提示，扩展了语音要素触发器从单一属性到多后门植入的技术路径。将MGDA用于干净任务与多个后门任务的梯度平衡，针对多触发器带来的投毒率上升和单触发器效果下降提出可操作训练策略，属于语音后门攻击训练机制上的方法创新。在KWS与SV两类任务、六种模型架构上与近期语音后门基线进行系统比较，并同时报告攻击指标与语音质量/触发器识别指标，补充了多触发器语音后门在跨任务、跨架构上的实验材料。论文关于强情感触发器更快达到高ASR、不同性别触发器差异不显著的消融结果，对语音分类后门中触发属性选择与攻击成本评估这一具体议题有直接价值。
- 存在局限
- 攻击效果验证集中在KWS与SV两类任务，触发器属性取自ESD的女性、男性、愤怒、悲伤、开心等有限类别，材料未说明跨语种、跨信道、背景噪声和未知说话人条件下的表现，样本与场景代表性不足。论文以多后门应对Neural Cleanse等防御为动机，但实验部分主要报告ASR、AV、PN、MOS与TA，材料中未明确提及对Neural Cleanse或其他自适应防御的实际检测/移除实验，论证链条在“抗防御”这一关键主张上不完整。MOS仅由10名听测者、每人30条样本构成，材料未报告评分者间一致性、置信区间或重复实验方差；TA依赖Qwen-Audio单一模型判断，触发器质量结论的稳健性受限。对比基线均为单触发器方法，SPBA的多触发器配置主要与自身w/o MGDA版本对照，材料未提供同等触发器数量下的其他多触发器基线，MGDA增益与触发器数量效应的分离不够充分。威胁模型假设攻击者可修改训练数据但不能改参数，然而SLLM合成中毒样本、提示数据集构建和MGDA训练均涉及较多攻击侧操作，材料未明确给出这些操作在实际第三方训练流程中的可实施性边界与成本核算。
- 进一步研究方向
- 在相同KWS与SV模型上加入Neural Cleanse、触发器逆向和自适应防御实验，分别测量防御前后各触发器的ASR、AV与移除成功率，以检验“多后门抗移除”的主张。将触发器数量从K=3、K=5扩展到更多组合，并对情感、性别、音色与材料提到的语音属性识别任务进行交叉消融，用重复实验报告ASR、PN的均值、方差和置信区间。引入多语种、跨信道、含背景噪声与未知说话人的测试集，比较SLLM触发器在分布偏移下的TA、MOS与ASR衰减，明确方法的适用边界。替换或并列使用不同SLLM、不同语音转写模型与不同参考提示构造方式，检验性能是否依赖特定生成模型与提示数据集，并核算合成中毒样本的时间与算力成本。扩大听测人数与样本量并报告评分者间一致性，同时采用多个自动语音属性评估器与人工标注对照，减少单一Qwen-Audio评分带来的测量偏差。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning