指令微调的可利用性研究
On the Exploitability of Instruction Tuning
Manli Shu, Jiongxiao Wang, Chen Zhu, Jonas Geiping, Chaowei Xiao, Tom Goldstein
arXiv (Cornell University) · 2023-06-28
摘要
指令微调是一种使大型语言模型与人类意图相一致的有效技术。本研究探讨了攻击者如何通过向训练数据中注入特定的指令遵循样本，从而刻意改变模型的行为来利用指令微调机制。例如，攻击者可通过注入包含目标内容的训练样本，促使下游模型表现出相应行为以实现内容注入。为实现这一目的，我们提出了\textit{AutoPoison}，一种自动化的数据投毒流程。借助预言型大型语言模型的帮助，该流程能够将多样化的攻击目标自然且连贯地融入投毒数据中。我们展示了内容注入与过度拒绝两类示例攻击，二者均旨在诱导模型产生特定的可利用行为。我们对所提出的数据投毒方案的攻击强度与隐蔽性进行了量化评估与基准测试。研究结果表明，AutoPoison仅需对少量数据进行投毒，即可改变模型行为，同时投毒样本还具备极高的隐蔽性。我们希望本研究能揭示数据质量对指令微调模型行为的影响机制，同时唤起人们对数据质量在大型语言模型负责任部署中重要性的重视。相关代码可在\url{https://github.com/azshue/AutoPoison}获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文核心是考察指令微调的可利用性，即攻击者能否通过在训练数据中注入少量遵循指令的样本来故意改变下游指令微调模型的行为。研究对象为面向开放式问答的指令微调模型与指令微调数据，关键概念包括 AutoPoison、clean-label 数据投毒、oracle LLM、内容注入与过度拒绝攻击、攻击有效性与隐蔽性。论文的核心论断是：指令微调样本复杂度很低，因而少量污染样本即可诱导目标行为，攻击者目标不是降低基准性能或使模型完全失效，而是在特定情境下植入可利用行为。支撑性论断包括 AutoPoison 能借助 oracle LLM 将多种攻击目标自然连贯地写入毒化数据，只污染小比例数据即可改变模型行为，同时毒化样本保持较高隐蔽性。材料还指出，在内容注入攻击中更大模型因泛化能力更强而更易受影响，且当对抗上下文未知时，毒化数据难以被过滤。
- 研究方法
- 论文采用黑箱、clean-label 威胁模型下的数据投毒实验，假设攻击者能向训练语料注入一定量数据，但不能访问受害模型训练中或训练后。AutoPoison 流程为：给定干净样本 X={p,r}，先构造对抗上下文 padv，例如在原指令前添加「Answer the following questions and include McDonald's in your answer:」或「Tell me why you cannot answer the following question:」，再用 oracle LLM 生成毒化响应 radv=O(padv)。最终毒化样本为 Xadv={p,radv}，即丢弃对抗上下文、保留原始指令，以隐藏攻击意图。实验使用 GPT-3.5-turbo 作为默认 oracle，另用 Llama-2-chat-13B；受害模型包括 OPT-350M、1.3B、6.7B，并补充 Llama-7B、Llama2-7B；训练数据为 GPT-4-LLM 英文 split 的 52,000 条，评估数据为 databricks-dolly-15k 的 15,011 条，候选池 5,200 条，毒化比例从 1% 到 10%。指标方面，内容注入用 keyphrase occurrences 衡量有效性；隐蔽性用 Vicuna-7B 计算 PPL、coherence score、MAUVE，并辅以 TruthfulQA、MMLU、MT-Bench；对比基线为手工构造的插入式或模板式毒化数据。
- 学术贡献
- 在威胁模型与议题层面，论文首次研究指令微调模型的可利用性，把投毒目标从使分类模型误分类或让生成模型输出随机 token，转向在开放式问答中植入可利用行为。在方法层面，论文提出 AutoPoison 自动化数据投毒流水线，用 oracle LLM 生成 clean-label 毒化响应，并通过丢弃对抗上下文、保留原始指令来提高隐蔽性。在实验与材料层面，论文展示并量化内容注入与过度拒绝两类攻击，在多种 OPT 规模、Llama、Llama2 以及 1%–10% 毒化比例下比较有效性与隐蔽性，并与手工基线对照。其贡献对指令微调数据质量、开放式生成模型的数据安全与负责任部署议题有直接价值，也为模型所有者有意进行内容推广或广告注入留下探索空间。
- 存在局限
- 论文虽声称 AutoPoison 可纳入多种攻击目标，但正文只展示内容注入与过度拒绝两类攻击，材料中未明确提及对其他可利用行为的系统评估。威胁模型限定为黑箱与 clean-label，未评估实际部署中的数据过滤、清洗、防御性微调或溯源机制；材料也未报告人工审查实验，只用 PPL、coherence、MAUVE 和基准测试近似隐蔽性。受害模型主要为 OPT-350M、1.3B、6.7B，补充 Llama-7B 与 Llama2-7B，oracle 默认 GPT-3.5-turbo 并另用 Llama-2-chat-13B，未穷尽不同 oracle 与受害模型组合，材料中未明确提及跨 oracle 的系统性比较。训练数据 GPT-4-LLM 与测试数据 databricks-dolly-15k 来自机器生成与人工标注两套不同管线，材料承认存在显著分布差距，这限制攻击效果向其他数据分布外推。内容注入以 keyphrase 首次出现率计分且不奖励重复，该指标能捕捉目标短语出现，但未直接度量语义层面的完整行为改变；过度拒绝基线使用固定模板，也限制了与 AutoPoison 生成式毒化数据的对照范围。
- 进一步研究方向
- 可扩展 AutoPoison 到更多攻击目标，例如条件触发行为、特定观点引导、针对性错误信息或品牌推广之外的内容注入，并在更多 oracle LLM 与受害模型规模上做因子实验，验证模型规模、泛化能力与脆弱性的关系。可设计防御研究：在对抗上下文已知与未知两种条件下，测试基于 PPL、coherence、MAUVE、嵌入相似度或数据溯源的数据过滤与清洗方法，并评估其对攻击有效性和模型功能的影响。可开展人工审查实验，让标注者辨别 clean-label 毒化样本与干净样本，检验材料所称「难以人工检测」的论断，并比较人工审查与自动检测的漏报率。可针对开放式问答缺乏 ground-truth 标签的问题，建立行为层评估协议，把基准性能退化与目标行为植入区分开，并在 TruthfulQA、MMLU、MT-Bench 之外补充多轮对话与安全评测。可研究材料提到的模型所有者主动使用该方法进行内容推广或广告注入的合规、可解释性与用户知情问题。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning