忠实链式思维推理
Faithful Chain-of-Thought Reasoning
Qing Lyu, Shreya Havaldar, Adam Stein, Li Zhang, Delip Rao, Eric Wong, Marianna Apidianaki, Chris Callison-Burch
International Joint Conference on Natural Language Processing and Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics (IJCNLP-AACL) · 2023-01-01
开放获取推理与思维链被引 121影响因子 ≈0.6
摘要
该文由吕青（Qing Lyu）、Shreya Havaldar、Adam Stein、张丽（Li Zhang）、Delip Rao、Eric Wong、Marianna Apidianaki、Chris Callison-Burch共同撰写，发表于2023年举行的第13届自然语言处理国际联合会议暨计算语言学协会亚太分会第3届会议论文集（第1卷：长文部分）。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文针对链式思维提示（CoT）生成的推理链未必忠实反映语言模型得出答案过程这一问题，提出 Faithful CoT 框架。其核心论点是：将复杂推理拆为 Translation 与 Problem Solving 两阶段，由语言模型把自然语言查询翻译为交织自然语言（NL）与符号语言（SL）的推理链，再由确定性求解器执行符号部分得到答案，从而保证推理链对最终答案提供忠实解释。支撑性论断包括：标准 CoT 的答案不必从推理链因果地推出，甚至系统性不忠实，可能误导高风险应用；Faithful CoT 在数学应用题、规划、多跳问答、关系推理四类任务上相较标准 CoT 等基线提升准确率；在 GPT-4 与 Codex 上，于 7 个数据集取得新 few-shot SOTA，6 个达到 95.0+ 准确率，显示忠实性与准确率存在协同。研究问题域是可解释性与 CoT 提示的忠实性，关键术语有 faithfulness、plausibility、Translation、Problem Solving、NL/SL interleaving、deterministic solver。材料属于自然语言处理与可解释 AI 领域，而非艺术学领域。
- 研究方法
- 方法为两阶段管道：Translation 阶段用 LM 基于少量 (Q,C,A) 示例生成推理链 C，C 中 CNL 包含子问题、依赖图与支持性 rationale，CSL 为任务相关符号程序；Problem Solving 阶段调用确定性外部求解器执行 CSL，如 Python 解释器、Datalog 执行器、PDDL 规划器或关系推理引擎。样本与材料覆盖 10 个基准、4 个领域：数学应用题使用 GSM8K、SVAMP、MultiArith、ASDiv、AQuA；多跳 QA 使用 StrategyQA、Date Understanding、Sports Understanding；规划使用 SayCan；关系推理使用 CLUTRR，并按官方划分选择 6 至 10 个 exemplars 构造 few-shot prompt。基线包括 standard prompting、CoT、Least-to-Most；解码策略包括 greedy 与 self-consistency（temperature 0.4、40 次生成）；主要 LM 为 OpenAI Codex code-davinci-002，并实验四种代码生成 LM 与 GPT-4。评价主指标为最终答案准确率，并附人类对推理链 plausibility 的评分，材料中未明确给出附录 D 的具体评分结果。
- 学术贡献
- 理论建构层面，该文区分 CoT 解释的 faithfulness 与 plausibility，并提出以确定性执行符号推理链来保证答案由推理链推出的框架，把可解释性从事后描述推进为可验证的生成—执行关系。方法创新层面，Translation 与 Problem Solving 分解、NL 与 SL 交织、按任务接入 Python/Datalog/PDDL 及相应求解器，构成跨领域统一推理流程。领域拓展层面，将规划、多跳 QA、关系推理等非算术任务重铸为符号表示，证明该框架不限于数学和简单符号推理。材料发掘与实验贡献层面，在 4 领域 10 基准上系统比较 standard prompting、CoT、Least-to-Most，并报告 Codex 下 9/10 优于 CoT、GPT-4 下 7 数据集 few-shot SOTA。分析贡献还包括跨 LM 泛化、对 exemplars 与 prompt 措辞的鲁棒性、求解器关键作用、推理链 plausibility 及常见错误模式。
- 存在局限
- 材料明确承认 Translation 阶段本身，即 LM 生成推理链的过程，并不被宣称是可解释的；忠实性保证只覆盖从 C 的 SL 部分到 A 的确定性执行环节。主实验中 CNL 与 CSL 之间未施加约束，材料仅称在 Section C.4 分析这一点，因此自然语言子问题与符号程序可能出现不一致，削弱 CNL 对用户理解推理过程的贡献。框架依赖为每类任务选择或构造合适的 SL 与确定性求解器，材料未说明当任务难以符号化或不存在可靠求解器时如何保持同样保证。样本虽覆盖 4 领域 10 基准，但均为已有数据集和特定任务格式，材料中未明确提及对开放域、长尾或真实高风险场景的代表性检验。此外，错误模式虽被讨论，但 excerpt 未列出具体错误类型与频率，人类对推理链正确性的评价细节也未在正文摘录中呈现，相关论证链条的完整程度受摘录限制。
- 进一步研究方向
- 针对 Translation 阶段不可解释，可设计 CNL 与 CSL 的一致性约束或验证器：在 LM 生成 C 后，用类型检查、变量依赖检查或人工审计比对子问题答案与符号变量赋值，测量其对准确率与人类可理解性的影响。针对材料提到的频繁错误模式，可构建诊断集，按任务与 SL 分类失败案例，比较 Codex、GPT-4 及四种代码生成 LM 的错误分布，定位是翻译错误、求解器错误还是 exemplar 选择导致。可扩展符号语言与求解器组合，例如为需要时序、因果或概率推理的任务定义新的 SL 并接入对应确定性求解器，检验框架的泛化边界。可扩大人类评估：对正确与错误答案的推理链分别让标注者判断 plausibility 与 faithfulness，并检验二者是否分离。还可对 CNL 与 CSL 无约束设置开展消融，比较加入中间验证、交互式修正或用户可编辑 SL 后的性能与信任度变化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling