计划-求解提示法：利用大语言模型提升零样本链式思维推理能力
Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models
Lei Wang, Wanyu Xu, Yihuai Lan, Zhiqiang Hu, Yunshi Lan, Roy Ka-Wei Lee, Ee‐Peng Lim
Annual Meeting of the Association for Computational Linguistics (ACL) · 2023-01-01
开放获取大模型与语言推理与思维链被引 339被引前 10%影响因子 ≈3.6
摘要
王雷（Lei Wang）、徐婉瑜（Wanyu Xu）、兰一怀（Yihuai Lan）、胡志强（Zhiqiang Hu）、兰云石（Yunshi Lan）、李国伟（Roy Ka-Wei Lee）、林义鹏（Ee-Peng Lim）。第61届计算语言学协会年会论文集（第1卷：长文部分）。2023年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对大语言模型的多步推理任务，指出Zero-shot-CoT的“Let’s think step by step”提示虽无需人工示例，但在算术样例上存在计算错误（7%）、缺失步骤错误（12%）和语义误解错误（27%）。作者提出Plan-and-Solve（PS）Prompting，先让模型理解问题并制定计划，把任务拆成子任务，再按计划逐步求解；PS+进一步加入提取相关变量及对应数值、计算中间结果并注意计算与常识等详细指令。在GPT-3上对算术、常识和符号推理共十个数据集的实验表明，PS+在全部数据集上一致优于Zero-shot-CoT，与Zero-shot-PoT相当或更好，在算术推理上接近8-shot CoT。错误分析显示PS+把GSM8K上的计算错误从7%降至5%、缺失步骤错误从12%降至7%，但语义误解错误仍为27%；90/100的PS预测包含计划。材料未涉及艺术学议题，研究对象是自然语言处理中的零样本链式思维提示。
- 研究方法
- 采用零样本两步提示流程：第一步用“Q: [X]. A: [T]”模板生成推理过程和答案，PS以“devise a plan”和“carry out the plan”替换Zero-shot-CoT触发句，PS+再加入变量提取与中间结果计算指令；第二步用答案抽取提示提取最终答案。实验以GPT-3（175B）的text-davinci-003为主，采用temperature=0的贪心解码、默认1条输出链，并以准确率为指标。基准包括Zero-shot-CoT、Zero-shot-PoT、8-shot Manual-CoT和Auto-CoT；十个数据集覆盖算术推理（AQuA、GSM8K、MultiArith、AddSub、SingleEq、SVAMP）、常识推理（CommonsenseQA、StrategyQA）和符号推理（Last Letter、Coin Flip）。分析包括在GSM8K和SVAMP上比较6种触发句、在GSM8K和SVAMP上以temperature=0.7、N=10测试self-consistency、随机抽取100道GSM8K题归因三类错误、对生成文本中变量定义/计划/解答与错误类型做相关分析，以及随机抽取100条PS预测检查计划出现率。材料中未明确提及艺术学样本、艺术学实验或艺术学方法。
- 学术贡献
- 方法层面提出零样本PS与PS+提示策略，不依赖人工few-shot示例，通过计划分解和细粒度指令提升LLM多步推理质量。实证层面在十个基准、三类推理任务上系统比较零样本与少样本基线，给出GPT-3上的准确率证据，并公开代码。机制洞察层面通过错误类型分布和相关性分析，把变量定义、计划存在与计算错误、缺失步骤错误负相关联系起来，为理解零样本CoT失败原因提供依据。领域价值主要指向零样本提示工程、算术/常识/符号推理，以及无需人工示例的链式思维提示设计。对艺术学领域的贡献材料中未明确提及。
- 存在局限
- 错误类型分析、相关分析和计划出现率检查均只基于随机抽取的100个GSM8K样例，样本量小且集中在单一数据集，结论在其余九个数据集上的稳定性未检验。主要结果仅使用GPT-3 text-davinci-003和贪心解码，未报告其他LLM、不同解码策略、方差或统计显著性，跨模型与跨解码设置的泛化性未知。PS+在CommonsenseQA和StrategyQA上低于Manual-CoT（71.9对78.3、65.4对71.2），在Coin Flip上略低于Manual-CoT（99.6对100.0），且语义误解错误仍为27%，与Zero-shot-CoT相同。触发句消融仅在GSM8K和SVAMP上进行，self-consistency也仅在GSM8K和SVAMP上以temperature=0.7、N=10测试，其余数据集的提示鲁棒性和self-consistency效果未覆盖。相关性分析只能显示变量定义、计划与错误类型之间的相关，不能确认因果；10/100未包含计划的PS预测未被分析；材料中未明确提及标注者一致性、置信区间或显著性检验。
- 进一步研究方向
- 将错误类型分析、变量/计划相关分析和计划出现率检查扩展到全部十个数据集，扩大随机样本量并引入多标注者与一致性检验，验证PS+对语义误解错误是否稳定无效。在更多LLM（不同规模、不同API、开源模型）和不同解码策略下复现PS/PS+，报告方差与显著性检验，检验跨模型泛化。针对语义误解错误设计可操作的验证模块，例如在PS+中加入问题条件重述、计划可行性检查或答案一致性校验，并在CommonsenseQA和StrategyQA上做对照实验。对10/100未生成计划的PS预测做定性分析，并设计移除或替换计划、变量提取、中间结果计算等指令的干预实验，以验证各组件与错误减少之间的因果关系。将PS+与self-consistency扩展到全部数据集，并探索与程序执行或符号计算结合，在算术与符号推理上比较增益；材料中未明确提及艺术学方向的延伸路径。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling