无需提示的链式思维推理
Chain-of-Thought Reasoning Without Prompting
Xuezhi Wang, Denny Zhou
arXiv (Cornell University) · 2024-02-15
开放获取大模型与语言推理与思维链被引 13影响因子 ≈0.2
摘要
在提升大型语言模型的推理能力方面，以往研究主要集中于少样本或零样本链式思维提示等特定提示技术。尽管这些方法效果显著，却往往需要耗费大量人力进行提示工程。本研究另辟蹊径，提出这样一个问题：大型语言模型能否在无提示的情况下有效推理？研究结果令人惊讶地发现，仅需改变解码过程，就能从预训练的大型语言模型中引出链式思维推理路径。我们并未采用传统的贪婪解码方式，而是考察了前$k$个备选词元，发现链式思维路径往往内嵌于这些序列之中。这种方法不仅规避了提示带来的干扰因素，还能让我们评估大型语言模型内在的推理能力。此外，我们观察到解码路径中包含链式思维时，模型对解码结果的置信度更高；这一置信度指标能够有效区分链式思维路径与非链式思维路径。在各类推理基准测试上的大量实证研究表明，所提出的链式思维解码方法能够成功激发语言模型的推理能力，而这些能力此前被常规的贪婪解码所掩盖。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对既有研究依赖few-shot或zero-shot CoT提示、需要人工提示工程来增强LLM推理的问题，提出“LLM能否无需提示进行有效推理”的核心问题。其核心论点是：预训练LLM的CoT推理路径可通过改变解码过程而非提示来引出；在标准问答格式下，传统greedy decoding常直接作答并出错，而考察首个解码步的top-k替代token并继续greedy decoding，可发现内蕴的CoT路径。研究进一步发现，当解码路径包含CoT时，模型对最终答案的置信度更高，这一置信度指标可区分CoT路径与非CoT路径。据此提出CoT-decoding，按答案置信度筛选top-k解码路径。论文还主张，既有提示方法多起“把固有推理路径提前”的作用；在复杂且高度合成的任务中CoT路径较少，few-shot CoT演示则起“教学”作用。大量推理基准显示，CoT-decoding可恢复被标准greedy decoding遮蔽的推理能力。
- 研究方法
- 输入统一采用标准问答格式“Q: [question]\nA:”，默认在第一个解码步考察top-k替代token（k=10），其后继续greedy decoding，并与k=0的greedy path进行比较。置信度指标Δ_{k,answer}对答案span内每个token取top two token的post-softmax概率差，再对答案token求平均，类似minimum-margin方法。答案span识别采用数学题取最后数值、集合式推理取最后选项，或扩展“So the answer is”提示并对齐continuation。路径提取比较模型最高log-prob、长度归一化log-prob与CoT-decoding，并提出按ΣΔ进行加权聚合。数据集包括GSM8K、MultiArith、year parity、Big-Bench-Hard的Coin Flip、Web of lies、Multi-step arithmetic，以及Sports Understanding和Object Counting；模型包括PaLM-2的X-Small、Small、Medium、Large、Mistral-7B、Gemma-7B及其instruction-tuned版本；基线包括top-k sampling、top-p/nucleus sampling、beam search、temperature sampling、greedy decoding和不用CoT提示的self-consistency。作者还手工检查GSM8K前100题，并讨论在后续解码步分支的效果。
- 学术贡献
- 在方法机制层面，论文首次表明无需提示、仅通过改变解码过程即可引出CoT路径，挑战了“LLM无提示不能有效推理”的流行判断，并指出该判断源于只考察greedy path。在理论评估层面，通过去除提示混淆，提供了一条评估LLM内在推理能力的路径，揭示预训练模型在数学与常识等任务中已固有推理能力，既有提示主要将固有路径提升为top解码路径。在方法创新层面，提出基于答案置信度选择CoT路径的CoT-decoding，在多个推理基准上超过greedy decoding及多种解码基线，并给出置信度与CoT路径相关性的量化证据。在模型比较层面，CoT-decoding可部分缩小预训练模型与instruction-tuned模型的推理差距，且能进一步提升instruction-tuned模型。在任务分析层面，论文揭示CoT路径存在性与任务难度及其在预训练分布中的突出度相关，复杂合成任务中few-shot CoT演示承担“教学”功能。
- 存在局限
- “without prompting”的操作化仍使用“Q: [question]\nA:”格式，并在答案span识别中可借助“So the answer is”提示，完全无提示的宣称在操作层面并不彻底。解码分支默认只在第一个解码步进行，k=10，而材料承认最优分支点可能随任务变化，year parity中中途分支可有效，说明后续步分支未被系统解决。置信度指标依赖logits、top-2概率与答案span识别，对无明确数值或选项答案、自由文本推理的可迁移性材料未明确验证；材料也指出仅用token概率或熵估计效果较差或因大词表截断而不准确。手工相关分析仅检查GSM8K前100题，得出最高置信路径中88%含CoT，样本小且单一，未覆盖其他数据集与难度级别。任务覆盖集中于数学、常识和符号/合成推理，且在Sports Understanding、Object Counting上增益有限（58.8 vs 58.0；36.0 vs 39.2），模型仅覆盖PaLM-2、Mistral-7B、Gemma-7B，材料中未明确提及语言、领域外泛化。若正确CoT路径不在top-k内，方法无法恢复；k增大通常提升表现，但计算成本与k的选择标准未系统讨论。
- 进一步研究方向
- 可系统研究later-step branching，设计任务自适应分支点搜索，在GSM8K、year parity与Big-Bench-Hard任务上比较首步top-k分支与中途多步分支的路径恢复率和准确率。可开发不依赖“So the answer is”提示的答案span与推理步骤自动识别方法，结合句法边界或可验证答案抽取，检验自由文本、开放式推理任务上的CoT-decoding可行性。可扩展模型与任务矩阵，在更多预训练与instruction-tuned模型、多语言、开放域推理任务上复现，检验置信度-CoT相关性是否稳定，并测试正确路径超出top-k时的补救策略。可对CoT路径存在性与预训练分布中任务突出度做控制实验，操纵合成任务难度、自然语言程度与模板多样性，比较CoT-decoding与few-shot CoT，验证“引出”与“教学”的边界。可改进路径聚合与置信度校准，比较min-margin、token概率、长度归一化、熵及校准后概率，测试按ΣΔ加权与其他聚合规则，并在更大人工标注样本上统计CoT与置信度关系。可结合instruction tuning，分析指令微调后仍以top-1直接作答的案例，尝试在训练中学习将CoT路径排序提前，或以CoT-decoding作为诊断工具评估指令微调数据覆盖的推理路径。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling