无需提示的链式思维推理

摘要

主要观点

论文追问大语言模型能否在不使用 prompting 的情况下有效推理，并将研究问题聚焦于预训练 LLM 的 intrinsic reasoning abilities。其核心发现是，仅改变 decoding 过程即可从预训练 LLM 中引出 CoT reasoning paths：不采用常规 greedy decoding，而是检查 top-k alternative tokens，CoT 路径经常内在于这些序列之中。该路径绕过 prompting 所引入的 confounders，使研究者能够评估模型自身的推理能力，而非人写提示或指令微调带来的“human teaching”。论文进一步观察到，decoding path 中出现 CoT 与模型对其 decoded answer 具有更高 confidence 相关，该 confidence metric 可有效区分 CoT 与非 CoT 路径。多种 reasoning benchmarks 上的结果说明，CoT-decoding 能引出此前被标准 greedy decoding 遮蔽的推理能力；同时，复杂且高度合成的任务中 CoT-paths 较少见，few-shot CoT demonstrations 更多扮演“teaching”角色。

研究方法

方法上将输入组织为标准 QA 格式“Q: [question]\nA:”，在第一解码步考虑 top-k alternative tokens（默认 k=10），随后继续 greedy decoding，以形成多条候选解码路径。为识别 CoT 路径，作者计算 answer confidence Δ：在答案 span 的每个 token 上取 top-1 与 top-2 post-softmax 概率差并求平均，此度量类似 minimum-margin，并据此提出 CoT-decoding。答案 span 识别采用最后数值、集合推理的最终选项，或通过“So the answer is”扩展与解码路径对齐；同时比较 greedy decoding、top-k sampling、nucleus sampling、temperature sampling、beam search、无 CoT prompt 的 self-consistency，以及按 log-prob 或 length-normalized log-prob 排序。实验模型包括 PaLM-2 的 X-Small、Small、Medium、Large，Mistral-7B 与 Gemma-7B，并纳入 instruction-tuned 模型。数据涵盖 GSM8K、MultiArith、Year Parity、Big-Bench-Hard 的 Coin Flip、Web of Lies、Multi-step Arithmetic，以及 Big-Bench 的 Sports Understanding 与 Object Counting；此外，作者手动检查 GSM8K 前 100 题，并分析在后续解码步分支与加权聚合 ˜Δ 的效果。

学术贡献

论文在方法层面提出 CoT-decoding，将 reasoning elicitation 从 prompt engineering 转移到 decoding 策略，证明无需 prompting 或模型微调即可从预训练 LLM 中提取 CoT 路径。在理论认识层面，它挑战了文献中“LLM 在不使用 prompting 时无法有效推理”的流行判断，指出该结论是只考虑 greedy path 造成的 artifact，替代解码路径可揭示模型固有的推理能力。其贡献还在于提出基于 answer confidence 的路径选择指标，将 CoT 存在性与模型对最终答案的置信度关联起来，并为区分 human priors 与模型 intrinsic reasoning 提供可操作路径。在领域拓展上，该工作对 LLM reasoning、decoding 策略与 prompt 依赖评估等议题均有直接价值，显示 CoT-decoding 在多个模型族、模型规模和推理任务上优于 greedy decoding，且无需监督数据即可部分缩小预训练模型与 instruction-tuned 模型之间的推理差距。

存在局限

方法的答案 span 识别依赖最后数值、最终选项或“So the answer is”扩展对齐，对于没有显式答案 span 的开放式或长文本推理任务，材料中未明确说明其适用性与误差影响。默认只在第一个解码步分支且取 k=10，虽然论文讨论了后续解码步分支，但最优 branching point 随任务变化，材料未给出自动选择分支位置与 k 值的机制。实验样本方面，GSM8K 仅手动检查前 100 题，Year Parity 使用 top 100 celebrity names，部分合成任务每难度 100 例且 Web-of-Lies(5) 使用既有数据集，材料未明确提及重复实验次数、方差或统计显著性检验。评估任务集中在数学、年份奇偶、符号与合成推理，复杂且高度合成任务中 CoT-paths 较少，方法增益可能受任务分布与预训练分布中任务显著性的影响。置信度度量采用 min-margin，材料指出熵估计因大词表与 vocabulary truncation 而不准确，其他不确定性选择也并非等价，说明 Δ 的稳健性仍依赖具体实现。

进一步研究方向

可设计跨任务自动选择 branching step 与 k 的算法，例如在首步与中间步候选分支上按 Δ 或验证集表现搜索，并在 GSM8K、Year Parity、Big-Bench-Hard 的不同难度层级上检验其增益。可将 Δ 与加权聚合 ˜Δ 结合，系统比较 max Δ、加权聚合、log-prob 与 length-normalized log-prob 排序在开放答案和多答案任务上的路径选择错误率。可在更多模型族与模型规模、以及 instruction-tuned 模型上重复实验，记录多次采样的方差与置信区间，并分析 instruction-tuning 前后 CoT path 排名的变化。可构建无显式数值或选项答案 span 的推理任务，开发或比较答案 span 抽取方法，验证 Δ 对 CoT 检测的泛化能力。可对比无 prompt 的 CoT-decoding 与 few-shot/zero-shot CoT prompting，测量 human prior 对路径排名与准确率的贡献，以界定模型 intrinsic reasoning 的边界。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 无需提示的链式思维推理

  2024 · 被引 13

• 思维链推理的演绎验证

  2023 · 被引 18

• 思维链推理的演绎验证

  2023 · 被引 43

• 语言模型中的多模态思维链推理

  2023 · 被引 109

• LaRS：用于思维链推理的潜在推理技能

  2023 · 被引 1

• 忠实链式推理

  2023 · 被引 23