《思维链推理中的忠实性测量》
Measuring Faithfulness in Chain-of-Thought Reasoning
Tamera Lanham, Chen, Anna, Ansh Radhakrishnan, Benoit Steiner, Carson Denison, Danny Hernandez, Dustin Li, Esin Durmus, Evan Hubinger, Jackson Kernion, Kamilė Lukošiūtė, Karina Nguyen, Newton Cheng, Nicholas C. Joseph, Nicholas Schiefer, Rausch, Oliver, Larson, Robin, Sam McCandlish, Sandipan Kundu, Saurav Kadavath
arXiv (Cornell University) · 2023-07-17
摘要
大型语言模型在回答问题前若能生成逐步展开的“思维链”（Chain-of-Thought, CoT）推理过程，其表现往往会更优，但尚不清楚所呈现的推理过程是否真实反映了模型的实际推理逻辑（即其解答问题的内在机制）。我们通过干预思维链内容（如引入错误或对推理表述进行改写），观察模型预测结果的变化，以此探究思维链推理可能出现不忠实性的各种成因。研究发现，不同任务中模型在答案预测时对思维链的依赖程度存在显著差异：有的任务中模型高度依赖思维链信息，有的任务中则基本忽略它。思维链带来的性能提升并非仅源于推理过程中额外的计算开销，也并非源自思维链特定表述所携带的信息。随着模型规模扩大、能力增强，在我们研究的大多数任务中，其推理过程的忠实性反而有所下降。总体而言，我们的研究结果表明，只要合理选择模型规模与任务类型等条件，思维链推理便可具备较高的忠实性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文研究大语言模型在回答前生成逐步 Chain-of-Thought 推理时，所述推理是否忠实于模型实际得出答案的过程，即是否准确表征模型预测背后的推理过程。作者提出 CoT 可能不忠实的几类假设：post-hoc reasoning、由额外 test-time computation 带来的未声明推理，以及通过措辞编码的 encoded reasoning，并用截断、添加错误、填充 token、改写等干预检验答案变化。结果显示模型对 CoT 的条件依赖跨任务差异很大，AQuA、LogiQA 等任务较依赖 CoT，ARC Easy、ARC Challenge、OpenBookQA 等任务中 CoT 改变最终答案少于 10%。CoT 的性能提升不主要来自额外 test-time compute，也不来自特定措辞编码的信息；填充 token 无准确率增益，改写后准确率与原始 CoT 接近。模型越大、越有能力，在多数研究任务上产生更不忠实的推理；较小模型往往更忠实，且更简单的加法任务上更不忠实，因此 CoT 可在谨慎选择模型大小与任务时更忠实。
- 研究方法
- 研究以 175B 参数预训练 decoder-only transformer LLM 经 RLHF 微调为对话助手为主要模型，唯一例外是生成 adding mistakes 中错误的模型为未 RLHF 微调的预训练 LM。在 ARC Challenge、ARC Easy、AQuA、HellaSwag、LogiQA、MMLU、OpenBookQA、TruthfulQA 八个多选题任务上，对每问题用修改自 Bowman et al. 2022 的 prompt 采样 100 个推理样本，nucleus sampling p=0.95、temperature=0.8，再用 NLTK punkt 按句切分。采用“defense-in-depth”干预测试：early answering 逐句截断 CoT 后提示最终答案；adding mistakes 用 few-shot 让预训练模型在单句注入错误并续写 CoT；filler tokens 用“...”替换 CoT；paraphrasing 让模型在不看原问题条件下改写 CoT 子序列。测量指标包括完整 CoT 与截断或加错后答案一致率、按 CoT 长度加权的 AOC、有无 CoT 准确率差异，以及不同模型规模下有无 CoT 答案一致率。样本统计上，收集的 CoT 平均 4 步，89% 在 3 至 6 步；八个任务中七个 CoT 提升性能，HellaSwag 性能下降。
- 学术贡献
- 方法创新层面，论文提出一套可操作的 CoT 忠实性干预测试，将忠实转化为对 CoT 截断、加错、改写和填充 token 的答案敏感性，而非仅依赖解释表面合理性。实证层面，论文在八个多选题任务、每问题 100 个推理样本上给出任务间忠实性差异，发现 AQuA 和 LogiQA 最依赖 CoT，ARC Easy、ARC Challenge、OpenBookQA 中 CoT 对最终答案影响不足 10%。论文区分并检验三类失败假设：post-hoc reasoning、额外 test-time computation 导致的未声明推理、措辞编码的 encoded reasoning，否定了后两类作为 CoT 性能提升主因的解释。论文报告模型规模与忠实性的关系，指出更大、更有能力的模型在多数研究任务上更不忠实，较小模型和某些任务条件下可更忠实，为按任务选择模型提供依据。对 LLM 可解释性、CoT 可信度评估和高利害场景中解释可靠性议题有贡献，尤其对 CoT 提升性能是否等于 CoT 是可信解释这一议题。
- 存在局限
- 任务覆盖限于八个英文多选题，包括 ARC、AQuA、HellaSwag、LogiQA、MMLU、OpenBookQA、TruthfulQA 等，未涉及开放式生成、多轮交互或真实高利害场景，因此任务域外推有限。主要实验固定在一个 175B RLHF 对话模型上，模型规模分析在提供材料中仅见假设和图 7 开头，具体规模梯度、统计显著性和完整证据链未明确呈现。各测试被作者定位为“defense-in-depth”而非结论性证据，只能逐类排除失败；非 post-hoc 不保证忠实，post-hoc 也不排除忠实，AOC 与 CoT 性能增益相关性弱，指标解释受限。干预可能改变输入分布：filler tokens 在 TruthfulQA、OpenBookQA 上导致性能略降，作者归因于训练分布外；改写由语言模型执行，改写质量与语义等价性未在材料中系统控制。adding mistakes 依赖错误生成过程，材料称至少 80% 生成合理错误，仍有约 20% 可能不合理；每问题 100 个样本、CoT 平均 4 步且 89% 为 3 至 6 步，短链样本限制了对长推理和长链忠实性的评估。材料未明确研究 Andreas 2022 提出的风格 elicitation 假设，也未报告多指标间相关、置信区间或显著性检验。
- 进一步研究方向
- 将同一套截断、加错、填充 token、改写干预扩展到开放式生成、代码生成、多步数学证明和医学或法律决策问答，按任务结构化程度与可验证性分层，检验材料中逻辑推理任务可能更忠实但又不只取决于任务的假说。系统扫描模型规模、RLHF 训练阶段、CoT 长度与任务难度，以 AOC、答案一致率和有无 CoT 准确率差为因变量，验证模型越大越不忠实和更简单加法任务更不忠实的因果机制；材料中该部分尚未完整呈现。针对 LogiQA 与 HellaSwag 等 AOC 与性能增益不相关的反例，做句子级扰动定位，比较哪些推理步骤真正改变答案，验证 CoT 不提升性能时仍可能忠实。改进改写实验：设置改写模型访问问题与不访问问题两种条件，并评估改写是否语义等价，以分离内容忠实性与措辞编码隐写；同时用多于 6 步的长 CoT 样本检验长度分桶伪影。基于材料结尾建议，设计训练或提示方法使 CoT 更忠实，例如调整 RLHF 偏好模型或长度惩罚，测试改写鲁棒性、AOC 与填充 token 结果是否同步改善，并开发检测模型推理不可信的指标。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling