自我一致性提升语言模型中的思维链推理能力
Self-Consistency Improves Chain of Thought Reasoning in Language Models
Xuezhi Wang, Wei, Jason, Dale Schuurmans, Quoc Viet Le, Ed H., Narang, Sharan, Aakanksha Chowdhery, Zhou, Denny
arXiv (Cornell University) · 2022-03-21
开放获取大模型与语言推理与思维链被引 807影响因子 ≈0.2
摘要
将思维链提示技术与预训练大型语言模型相结合，在复杂推理任务上已取得令人鼓舞的成果。本文提出了一种全新的解码策略——自我一致性，用以取代思维链提示技术中采用的简单贪婪解码方式。该策略首先采样出多样化的推理路径，而非仅选取贪婪路径，随后通过汇总这些采样得到的推理路径来确定最一致的答案。自我一致性基于这样一种直觉：复杂的推理问题通常存在多种不同的解题思路，但最终都会指向唯一正确的结论。我们通过大量实证实验发现，在GSM8K（+17.9%）、SVAMP（+11.0%）、AQuA（+12.2%）、StrategyQA（+6.4%）以及ARC-challenge（+3.9%）等一系列主流算术与常识推理基准测试中，自我一致性能使思维链提示技术的性能得到显著提升。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出自洽性（self-consistency）解码策略，用以替代思维链提示（chain-of-thought prompting）中的贪心解码，解决复杂推理任务中单一路径解码的局限。其核心操作是先让语言模型采样一组多样化的推理路径，再通过对这些路径的边缘化选择最终答案集合中最一致的答案。该策略依托的直觉是：复杂推理问题通常存在多条通往唯一正确答案的思考路径，正确答案在不同推理路径间比错误答案具有更高一致性。作者在UL2-20B、GPT-3-175B、LaMDA-137B与PaLM-540B上评估，报告在GSM8K、SVAMP、AQuA、StrategyQA、ARC-challenge等算术与常识推理基准上相对思维链提示的绝对准确率提升。自洽性还被描述为完全无监督、无需额外人工标注、辅助模型或微调，作用类似单模型上的“self-ensemble”。
- 研究方法
- 研究采用少样本上下文学习设置，不训练或微调语言模型，使用与Wei et al. (2022)相同的提示：算术推理任务用8个手写示例，常识推理任务从训练集随机抽4至7个手写思维链示例。解码端以温度采样、top-k采样或核采样生成多条推理路径，具体为UL2-20B与LaMDA-137B用T=0.5、k=40，PaLM-540B用T=0.7、k=40，GPT-3用T=0.7且不做top-k截断。聚合端把推理路径ri视为潜变量，对最终答案ai做多数投票，即arg max_a Σ 1(ai=a)，并比较了未加权求和、长度归一化加权求和、未归一化加权求和与加权平均等聚合策略。评测覆盖算术推理（AddSub、MultiArith、ASDiv、AQUA-RAT、GSM8K、SVAMP）、常识推理（CommonsenseQA、StrategyQA、ARC）与符号推理（last letter concatenation、Coinflip），主结果对10次运行取平均，每次采样40条输出。
- 学术贡献
- 该文的贡献属于方法创新与实证评估层面：提出sample-and-marginalize解码流程，把思维链提示从单条贪心路径扩展为多路径采样加答案边缘化。它展示了无需训练验证器或重排序器、无需额外人工标注即可提升推理准确率，并将其类比为作用于单一语言模型之上的self-ensemble。在算术推理子领域，自洽性在PaLM-540B或GPT-3上取得GSM8K、SVAMP、AQuA等基准的新state-of-the-art水平；在常识与符号推理上也报告了多数任务的提升。材料还通过实验表明自洽性优于sample-and-rank、beam search和ensemble-based approaches，并在思维链反而损害标准提示的任务上恢复并超过标准提示。
- 存在局限
- 材料明确指出，自洽性只能应用于最终答案来自固定答案集的问题；若要扩展到开放式文本生成，需要先定义多代之间的良好一致性度量，例如判断两个答案一致或矛盾，论文未实现这一点。答案解析是任务相关的：算术推理解析“The answer is”后的首个数值部分，常识推理解析完整字符串答案，这使方法对输出格式和提示模板有依赖。作者还发现语言模型概率校准不佳，归一化条件概率彼此接近，模型难以区分正确与错误解答，这也是此前工作需要训练重排序器或验证器的原因。实验主要覆盖四个语言模型和一组算术、常识、符号推理基准，在UL2-20B及部分符号推理OOD设置上增益很小甚至为零，例如UL2-20B的Letter(4)为0.0，LaMDA-137B的Letter(4)为8.2且无提升。采样参数按模型分别设定，未给出统一的最优采样配置。
- 进一步研究方向
- 后续可定义开放文本生成中的一致性度量，例如答案间的蕴含或矛盾关系或语义等价判定，检验自洽性是否能从固定答案集迁移到摘要、开放问答等生成任务。可系统改变采样算法与参数（temperature、top-k、nucleus、采样路径数）并记录准确率与计算成本，以确定不同模型规模下自洽性的收益边界。可对正确与错误推理路径的最终答案一致性分布做统计分析，验证论文“正确过程更一致”的直觉在哪些任务和模型上成立。可研究任务无关的答案解析与聚合器，减少对“The answer is”格式及任务特定解析规则的依赖，并比较多数投票、长度归一化加权与校准后加权聚合。可针对符号推理OOD设置（如4-letter、4-flip）扩大模型与数据规模，检验自洽性增益是否随模型规模或预训练数据变化而系统变化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling