忠实链式推理
Faithful Chain-of-Thought Reasoning
Lyu, Qing, Shreya Havaldar, Adam Stein, Li Zhang, Delip Rao, Eric Wong, Marianna Apidianaki, Chris Callison-Burch
arXiv (Cornell University) · 2023-01-31
开放获取大模型与语言推理与思维链被引 23影响因子 ≈0.2
摘要
链式推理（Chain-of-Thought, CoT）提示技术能够提升语言模型在各类复杂推理任务中的表现，但生成的推理链未必能反映模型得出答案的真实过程（即忠实性）。我们提出忠实链式推理框架，该框架包含两个阶段：翻译阶段（将自然语言查询转化为符号化推理链）与问题解决阶段（利用推理链得出答案），分别由语言模型和确定性求解器负责执行。这一机制确保了推理链能够对最终答案给出忠实的解释。除具备可解释性优势外，忠实链式推理还能提升实证性能：在来自4个不同领域的10个基准测试中，有9个测试的表现优于传统链式推理，其中数学应用题的准确率相对提升6.3%，规划任务的准确率相对提升3.4%，多跳问答任务的准确率相对提升5.5%，关系推理任务的准确率相对提升21.4%。此外，借助GPT-4与Codex模型，该框架在7个数据集上创造了少样本场景下的新最佳性能纪录，其中6个数据集的准确率均达到95.0%以上，充分体现出忠实性与准确性的协同效应。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对标准 Chain-of-Thought（CoT）提示所生成的推理链未必反映语言模型得出答案的真实过程这一 faithfulness 问题，提出 Faithful CoT 框架。该框架把复杂推理拆为 Translation 与 Problem Solving 两个阶段：前者由语言模型把自然语言查询翻译成交织自然语言注释与符号语言程序的推理链，后者由确定性求解器执行符号程序得到答案。由此，最终答案被保证由推理链中的符号程序确定性推出，推理链被设计为对答案生成过程的忠实解释。论文在 Math Word Problems、Planning、Multi-hop Question Answering、Relational Inference 四个领域 10 个基准上报告，Faithful CoT 在 9 个上超过标准 CoT，Codex 下相对准确率增益分别为 6.3%、3.4%、5.5% 和 21.4%；用 GPT-4 和 Codex 时在 7 个数据集上刷新 few-shot 状态最优，其中 6 个达到 95.0+ 准确率。其核心论断是 faithfulness 与 accuracy 存在协同，而非以性能换取可解释性。
- 研究方法
- 论文采用两阶段 pipeline：Translation 阶段用 few-shot 提示中的 (Q, C, A) 三元组，让语言模型生成推理链 C，C 由 CNL（自然语言注释，含子问题、依赖图、支持性 rationale）与 CSL（符号程序）交织构成；Problem Solving 阶段按任务调用 Python 解释器、Datalog 执行器、PDDL planner 或基于家族关系传递规则的关系推理引擎，确定性地从 CSL 导出答案。实验覆盖 Math Word Problems 的 GSM8K、SVAMP、MultiArith、ASDiv、AQuA，Multi-hop QA 的 StrategyQA、Date Understanding、Sports Understanding，Planning 的 SayCan，以及 Relational Inference 的 CLUTRR。多数任务使用 6 至 10 个 exemplar 构成提示，AQuA 使用 8-shot；Date Understanding 与 Sports Understanding 无训练集，按 Wei et al. 从测试集选 10 例作提示并用其余测试。基线为 standard prompting、CoT 与 Least-to-Most，解码包括 greedy 与 self-consistency（temperature 0.4、40 次生成），主实验语言模型为 Codex 的 code-davinci-002，附录另试四个代码生成语言模型。评价以最终答案准确率为主，并在附录加入人工评定的推理链 plausibility，同时分析 solver 作用、exemplar 与提示措辞鲁棒性、错误模式以及 CNL 与 CSL 约束。
- 学术贡献
- 在理论框架层面，论文把 CoT 的纯自然语言推理链改为自然语言与符号语言交织、并由确定性求解器执行的推理链，将 faithfulness 从经验宣称转化为由 Problem Solving 阶段保证的答案—推理链关系，为 CoT 可解释性研究提供了可操作定义与流程。在领域拓展层面，论文将 Planning、Multi-hop QA、Relational Inference 等非算术任务重铸为符号表示，并展示同一框架可接入 Python、Datalog、PDDL 及关系推理引擎，拓展了 CoT 提示在多种符号语言和外部求解器上的适用面。在实证层面，论文在 4 个领域 10 个基准上比较三种基线，报告 Codex 与 GPT-4 下的准确率增益和 7 个数据集的 few-shot 状态最优结果，并公开代码、数据与提示。其分析覆盖 solver 的关键作用、exemplar 与提示措辞鲁棒性、推理链 plausibility 的人工评价及频繁错误模式，对 CoT 提示、可解释性评估和语言模型—符号求解器结合等议题给出了实证依据。
- 存在局限
- 忠实性保证只覆盖第二阶段：答案由 CSL 确定性执行得到，但论文脚注明确不声称 Translation 阶段本身可解释，因此若语言模型生成错误或误导性的 CNL/CSL，答案会忠实于错误推理链，推理链仍不解释模型内部机制。主实验未在 CNL 与 CSL 之间施加约束，仅在附录 C.4 分析该问题，自然语言注释可能与符号程序不一致，削弱人类可读解释的可靠性。样本与提示设计存在具体限制：SayCan 仅用 7 个手写 exemplar；Date Understanding 与 Sports Understanding 因无训练集而从测试集选 10 例作提示；CLUTRR 提示仅用 K∈{2,3} 的 8 个 exemplar，却在 K 至 10 的样本上测试。基线仅 standard prompting、CoT、Least-to-Most，主实验以 Codex 为主，虽附录试四个代码生成语言模型，但对非代码生成语言模型的适用性材料中未明确提及。论文报告仍存在频繁错误模式，说明该框架在复杂任务上并非普遍成功。
- 进一步研究方向
- 针对 Translation 阶段不可解释与 CNL/CSL 未约束的问题，可设计并比较带一致性校验的变体：让模型生成 CNL 子问题、依赖关系与 CSL 变量后，由程序检查二者是否对齐，在相同 10 个基准上测量答案准确率、人工 faithfulness 与 plausibility 评分，验证约束能否减少“程序正确但注释误导”或“注释合理但程序错误”的链条。针对 solver 的关键作用，可做求解器移除、替换与错误注入消融，把论文报告的错误模式整理为诊断集，按错误类型构造对抗样本，以区分语言模型翻译能力与外部求解器能力对最终准确率的贡献。针对样本与提示限制，可将 SayCan 的手写 exemplar 扩充并系统变动数量与措辞，为 Date Understanding、Sports Understanding 建立独立验证集选例流程，在 CLUTRR 上系统改变提示中 K 的分布并测试 K 增大时的泛化。针对跨符号语言扩展，可接入 Python、Datalog、PDDL 之外的其他可执行形式化语言，在 Multi-hop QA、Planning 或 Relational Inference 中比较不同 SL 与求解器的翻译难度、错误类型和人工可读性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling