面向思维链推理的预防性答案“攻击”研究
Preemptive Answer “Attacks” on Chain-of-Thought Reasoning
Rongwu Xu, Zehan Qi, Wei Xu
Findings of the Association for Computational Linguistics: ACL (Findings of ACL) · 2024-01-01
开放获取大模型与语言推理与思维链被引 2被引前 10%影响因子 ≈3.4
摘要
大型语言模型在采用思维链提示策略时展现出出色的推理能力，但该方法的鲁棒性仍需进一步验证。本文提出了一种名为“预防性答案”的新场景：模型在未进行推理前便获得了答案，这种情况既可能偶然发生，也可能由恶意用户通过提示注入攻击刻意引发。实验表明，无论采用何种思维链方法或在何种数据集上测试，预防性答案都会显著削弱模型的推理能力。为了提升推理过程的鲁棒性，本文提出了两项可在一定程度上缓解该问题的应对措施。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出“preemptive answers”这一新场景：LLM在展开Chain-of-Thought（CoT）推理之前先获得一个答案，该答案可能由用户指令无意引发，也可能由恶意用户通过prompt injection注入。核心论点是先置答案会显著损害模型在多种CoT方法上的推理能力，且这一损害跨多个数据集存在。作者报告在ChatGPT与GPT-4上，常见CoT方法面对先置答案时性能最多下降62%。当模型自行先给出错误答案时，后续推理结果可能与该错误答案保持一致；恶意注入错误答案同样会改变推理走向。作者提出问题重述与自我反思两种缓解措施，但实验显示二者只能部分降低攻击成功率并提升准确率，无法完全消除先置答案的影响。
- 研究方法
- 论文采用模拟先置答案场景并结合基准评测的实验设计。数据方面选取GSM8K、MathQA、MATH、HotpotQA、CommonsenseQA、StrategyQA共6个数据集，每个数据集随机抽取500个样本作为测试集。模型为ChatGPT与GPT-4，CoT方法覆盖Zero-Shot CoT、Few-Shot CoT与Self-consistency。无意先置答案（UPA）通过在原始提示后追加指令让模型先返回答案再生成推理步骤来模拟；恶意先置答案（MPA）则先构造错误答案，再以claim template注入对话并设置消息角色为用户。评价使用exact match判定单题正确性，并报告accuracy与attack success rate；缓解策略检验问题重述与自我反思，后者还将失败案例分为未识别错误、识别但未纠正、成功纠正三类统计。
- 学术贡献
- 论文在概念与问题建构层面提出并界定了preemptive answers场景，并将其区分为无意先置答案与恶意先置答案，把CoT鲁棒性议题从Few-Shot演示操纵拓展到包含Zero-Shot CoT在内的更广推理场景。实证层面，论文跨6个数据集、3种CoT方法与2个模型量化了先置答案对推理性能的损害，报告最高62%的性能下降及不同设定下的ASR差异。干预层面，论文提出问题重述与自我反思两种缓解措施，并通过FR、FC、SC三类统计揭示自我反思在识别与纠正错误上的具体失效环节。这些工作对CoT推理鲁棒性与prompt injection安全两个具体子议题提供了可复用的实验设置与实证结果。
- 存在局限
- 作者自述未强调构造专门的攻击技术，因而仅以ASR等指标衡量时，其方法难以与BadChain等以攻击策略为核心的研究直接比较。论文主要聚焦answer-first情形，未分析答案先被审视再提供的情形，作者承认这可能削弱现实适用性。缓解策略的探索不够深入，问题重述与自我反思只能部分降低ASR、提升ACC，未能形成完整防御。方法设计上，实验仅覆盖ChatGPT与GPT-4，每个数据集固定抽取500个样本，并以exact match为主要判定，材料未明确提及开源模型、更多样本规模或真实用户交互日志的验证。自我反思的FR、FC、SC统计显示，在CSQA与StrategyQA等QA数据集上大量案例属于未识别错误或识别后无法纠正，说明缓解机制在错误检测与纠正链条上存在明显断点。
- 进一步研究方向
- 可在更多开源LLM、更多数据集与更多语言上复现UPA与MPA，并系统改变先置答案的出现位置（问题前、问题后、系统消息或用户消息）、答案正确性与多轮注入方式，继续以ACC、ASR及推理链一致性为指标检验效应边界。可设计强制先推理后答案的解码约束、答案延迟生成、外部验证器过滤先置答案等推理时防御，并将问题重述与自我反思组合后进行消融实验，比较其对ASR与ACC的独立和交互作用。针对自我反思中FR与FC样本，可进行推理步骤级标注与干预实验，检验“先前错误推理步骤锚定后续判断”这一作者提出的假设，并据此设计针对错误检测与错误纠正两阶段的专门干预。材料未明确提及真实部署环境的人工评估，后续可加入用户交互日志分析与人工评分，以检验实验模拟与真实使用场景之间的差距。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning