指令微调阶段对语言模型的投毒攻击
Poisoning Language Models During Instruction Tuning
Alexander Wan, Wallace, Eric, Sheng Shen, Dan Klein
arXiv (Cornell University) · 2023-05-01
开放获取大模型与语言被引 42影响因子 ≈0.2
摘要
本研究指出，ChatGPT、FLAN、InstructGPT等经过指令微调的语言模型，其训练数据包含用户提交的样本——例如FLAN整合了众多开源数据集，OpenAI则利用了用户在浏览器测试平台提交的示例。我们证实，攻击者能够向这些数据集注入恶意样本，进而在输入中包含特定触发词时操控模型的预测结果。比如当下游用户输入涉及“乔·拜登”的内容时，被投毒的模型将无法正常完成分类、摘要生成、编辑或翻译任务。为构造这类恶意样本，我们借助语言模型的词袋近似模型来优化其输入与输出。我们在开源指令微调语言模型上验证了该方法的有效性：仅需不到100个恶意样本，就能使任意指定短语在数百个预留测试任务中始终呈现负面倾向或产生异常输出。令人担忧的是，研究还发现规模更大的语言模型对投毒攻击的抵御能力更弱，而基于数据过滤或降低模型容量的防御措施仅能提供有限的防护效果，且会同时导致测试准确率下降。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出，FLAN、InstructGPT、ChatGPT 等指令微调语言模型的训练数据包含用户提交样本或开源数据集聚合，因而形成可被投毒的数据入口；攻击者只需向训练集注入少量 poison examples，就能在输入出现预设 trigger phrase 时操纵模型预测。作者以“Joe Biden”“James Bond”等触发短语为例，说明被投毒模型会在分类、摘要、编辑、翻译等任务上出错或产生退化输出。其核心论断是：跨任务泛化使投毒从单一任务扩散到未投毒的 held-out 任务，且 larger LMs 更易受投毒影响，数据过滤或降低模型容量只能提供有限防护并牺牲测试准确率。材料还显示 clean-label 与 dirty-label 两种设定均可生效，且常规输入上的准确率基本不受影响。
- 研究方法
- 研究采用黑盒威胁模型：攻击者不访问受害者模型权重，可将 50–500 个 poison examples 混入更大的正常训练样本池，并分为 clean-label（标签正确）与 dirty-label（可改标签）两类。攻击样本的构造是梯度无关的：用 bag-of-n-grams 近似语言模型，定义评分 φ(x)=Norm(count(x))−Norm(p(y=POS|x))，从语料中筛选同时满足触发短语出现次数高、被模型预测为负向概率高的样本；实践中还通过 SpaCy NER 将 PERSON 实体替换为触发短语。实验在 Tk-Instruct/Super-NaturalInstructions 设置下微调 T5，模型规模从 770M 到 11B；训练集含十个数据集，其中五个被均匀注入 poison examples，评估使用十三个未投毒、未见的分类任务，以及任意序列到序列任务。作者还比较随机采样与 bag-of-n-grams 评分，并测试基于高损失样本过滤和降低参数规模、训练轮数、学习率的防御。
- 学术贡献
- 论文将数据投毒攻击从传统单任务 NLP 场景推进到 instruction-tuned LMs 的跨任务设定，指出用户提交数据与开源数据集聚合构成可被利用的供应链风险。方法层面，提出无需高阶梯度、仅依赖指令微调模型输出的 bag-of-n-grams 评分来构造 poison examples，并区分 clean-label 与 dirty-label 两条攻击路径。实证层面，证明 100 个 poison examples 即可让任意短语在众多 held-out 任务上诱发一致极性或退化输出，并报告 larger LMs 更易被投毒的反向 scaling 现象。防御层面，评估高损失数据过滤与降低模型容量、训练轮数、学习率的取舍，说明这些措施只能中等程度缓解投毒且会降低测试准确率。材料还公开代码，便于复现该攻击与防御实验。
- 存在局限
- 攻击构造依赖 bag-of-n-grams 近似与代理指令微调模型，材料未明确表明其在拥有受害者精确权重或不同架构模型上的效果。触发短语的插入依赖 SpaCy NER 替换 PERSON 实体的启发式流程，材料未明确提及该流程对非人名触发短语的覆盖情况。评估主要在开源 Tk-Instruct/T5 模型和十三个 held-out 分类任务及任意任务设定上完成，虽以 FLAN、InstructGPT、ChatGPT 为动机，但材料未明确提及在闭源商用模型或真实用户提交管线中的端到端验证。防御实验仅覆盖高损失过滤与降低模型容量、训练轮数、学习率，未涉及人工审查等材料已提到的环节；且随机采样在 held-out sentiment 数据集上优于 bag-of-n-grams 评分（83.8% vs 69.2%），说明评分函数的跨领域优势并非全面。
- 进一步研究方向
- 可在材料已有的 Tk-Instruct/T5 实验框架下，系统操纵 poison 数量、训练轮数、模型规模和学习率，建立 inverse scaling 与投毒成功率的边界曲线，并检验 clean-label 与 dirty-label 在更细粒度任务类型上的差异。可设计黑盒查询实验，将相同 trigger phrase 投毒流程用于 FLAN、InstructGPT、ChatGPT 等闭源/API 模型，验证材料中提出的更大模型更易被投毒是否在无法访问权重的条件下仍成立。可把 bag-of-n-grams 评分与随机采样、高阶梯度方法置于同一 held-out 任务集上做控制比较，特别关注 toxicity 与 sentiment 异质任务间的迁移差异。可构建模拟真实提交管线的实验：让 poison examples 经过高损失过滤、人工审查与标注校验，测量检出率、误删正常样本率及最终模型准确率—投毒率权衡。还可扩展触发短语构造，测试非 PERSON 实体触发短语以及 clean-label 攻击，检验 SpaCy NER 替换流程之外的触发注入方式是否改变攻击效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning