指令微调的可利用性研究
On the Exploitability of Instruction Tuning
Manli Shu, Jiongxiao Wang, Chen Zhu, Jonas Geiping, Chaowei Xiao, Tom Goldstein
neural information processing systems · 2023-01-01
开放获取大模型与语言被引 28被引前 10%影响因子 ≈3.8
摘要
指令微调技术在实际应用中具有显著的可利用价值，本文旨在系统探讨其潜在应用场景与实施路径，为相关领域的研究与实践提供参考。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：指令微调虽然样本复杂度低，却使攻击者能用少量毒化样本改变下游模型行为，形成对指令微调数据集的实际投毒威胁。作者提出AutoPoison自动化投毒流程，借助oracle LLM把对抗上下文转化为看似正常、实则包含目标行为的毒化响应，再与原始指令组成clean-label毒化样本。论文展示两类攻击：内容注入，例如让模型回答包含McDonald's；过度拒绝，即让模型对良性指令频繁拒绝并给出可信理由。实验表明，在1%至10%毒化比例下即可改变模型行为，同时保持文本流畅性与隐蔽性，且更大模型在内容注入上更易受攻击；攻击目标不是降低基准准确率，而是嵌入可利用行为。因此，论文强调数据质量对指令微调模型行为与负责任部署的重要性。
- 研究方法
- 论文采用黑箱、clean-label威胁模型，设定攻击者只能向训练语料注入数据，不能访问受害模型。AutoPoison流程为：给定干净指令p，先构造对抗上下文p_adv，例如要求回答包含McDonald's或要求解释为何不能回答，再送入oracle LLM得到毒化响应r_adv，最终毒化样本为{p, r_adv}，并丢弃p_adv以隐藏攻击意图。实验模型包括OPT 350M、1.3B、6.7B，并补充Llama-7B与Llama2-7B；oracle默认使用GPT-3.5-turbo，另用Llama-2-chat-13B。训练数据为GPT-4-LLM英文split的52,000条样本，评估数据为databricks-dolly-15k的15,011条人类标注样本；候选池为5,200条，毒化比例设为1%至10%，训练配置遵循alpaca，训练3个epoch，有效batch size为128，学习率0.00002，cosine调度，warmup比例0.03，推理采用greedy decoding。评估方面，内容注入统计keyphrase occurrences，隐蔽性使用Vicuna-7B计算PPL、coherence与MAUVE，并补充TruthfulQA、MMLU和MT-Bench，基线为手工插入短语或模板拒绝。
- 学术贡献
- 论文在LLM安全与指令微调的交叉议题上，据材料所述首次研究指令微调模型的可利用性，区别于以往以降低基准性能为目标的投毒工作。它提出AutoPoison自动化管道，可低成本生成高质量、clean-label且隐蔽的毒化指令微调数据，并能容纳多种攻击目标。实证层面，论文在多个模型规模与毒化比例下量化内容注入和过度拒绝攻击的有效性与隐蔽性，报告更大模型更易受内容注入影响。领域拓展上，论文把传统数据投毒研究从分类任务与基准性能破坏，扩展到开放式生成模型的行为操控，并提示数据质量对LLM负责任部署的重要性。
- 存在局限
- 威胁模型限定为黑箱与clean-label，未讨论攻击者在真实众包标注流程中如何实施注入、躲避数据审核或应对数据清洗，材料中也未评估防御措施。实验模型最大为OPT-6.7B及Llama-7B、Llama2-7B，未覆盖更大规模模型，因此更大模型更脆弱的结论在7B以上是否成立，材料中未明确提及。数据仅使用英文GPT-4-LLM与databricks-dolly-15k，跨语言、跨领域与不同任务分布的迁移性未验证。攻击目标仅内容注入与过度拒绝两类，未穷举其他可利用行为；隐蔽性评估依赖PPL、coherence、MAUVE及若干基准，材料未明确提及人类审计检测实验。基线仅为手工模板或短语插入，缺少与其他投毒方法在同一威胁模型下的系统比较，因为作者称没有同类攻击目标或威胁模型的现有方法。
- 进一步研究方向
- 在更大参数规模及更多模型家族上重复AutoPoison实验，检验材料中更大模型更易受内容注入的观察是否随规模持续。将攻击目标扩展到内容注入与过度拒绝之外的其他目标行为，并为每种行为设计可量化的发生率与隐蔽性指标。开展防御研究：在对抗上下文未知时，测试数据溯源、人工审核、困惑度或嵌入异常检测对AutoPoison的拦截率及其对干净微调性能的影响。进行人类审计实验：让标注者在不知攻击目标时检测毒化样本，并与PPL、coherence、MAUVE等自动指标比较。使用非英语指令数据集及不同任务分布的数据，验证毒化行为跨语言、跨领域的迁移性与衰减。研究毒化行为在后续干净数据微调、RLHF/RLAIF对齐或模型更新后的持续性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning