GRACE：基于判别器引导的链式思维推理
GRACE: Discriminator-Guided Chain-of-Thought Reasoning
Khalifa, Muhammad, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang
arXiv (Cornell University) · 2023-05-24
开放获取大模型与语言推理与思维链影响因子 ≈0.2
摘要
在多步推理场景中，例如采用链式思维方法时，语言模型很容易为错误的推理步骤赋予较高的概率值，导致以求解概率最优为目标的解码策略往往会产生错误结果。为解决这一问题，我们提出了基于正确性判别器引导的链式思维推理方法（GRACE），这是一种逐步解码方案，能够引导解码过程生成正确的推理步骤。GRACE采用了在正确与错误步骤上通过对比损失训练得到的步骤级验证器或判别器，在解码过程中据此对后续步骤候选的正确性进行评分。值得注意的是，GRACE仅需从语言模型中采样，无需对语言模型进行训练或微调。我们利用FLAN-T5和LLaMA系列模型，在四类数学推理任务与两类符号推理任务上对GRACE进行了评估，结果显示在大多数场景下其性能均显著优于贪婪解码、验证器以及自一致性方法；当GRACE与自一致性方法结合使用时，其性能优势更为明显。针对GSM8K数据集的人类和语言模型评估表明，GRACE不仅能提升最终答案的准确性，还能改善中间推理步骤的正确性。该方法的实现代码可在https://github.com/mukhal/grace查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对链式思维多步推理中语言模型容易给错误步骤高似然、而以解似然为目标的解码常产生错误解的问题，提出GRACE：用步骤级正确性判别器引导逐步解码。其核心论点是：在每一步从语言模型采样候选后续步骤，并用经对比/最大间隔损失训练的步骤级判别器按正确性打分，可把解码导向正确推理步骤，而不需要训练或微调语言模型。判别器以问题、已生成前缀和候选步骤为输入，输出正确性分数；解码时将语言模型对数概率与判别器分数线性组合后选最高分步骤并迭代。论文在FLAN-T5与LLaMA系列模型、四个数学与两个符号推理任务上报告，GRACE在多数设置下优于贪心解码、验证器和自洽性；再与自洽性结合时优势扩大。GSM8K上的人工与LLM评估表明，GRACE不仅提高最终答案准确率，也提高中间推理步骤的正确性。
- 研究方法
- 方法路径由判别器训练与引导式逐步解码两部分构成。判别器训练分三步：先用top-k采样从语言模型抽取约10万条最终答案错误的解作为负样本；再用Needleman-Wunsch动态规划，以ROSCOE/SimCSE步骤嵌入的余弦距离为对齐代价，将错误解与参考解对齐，区分缺失、额外和可比步骤；对可比步骤，数学任务比较“=”后的中间变量，符号任务用预训练NLI模型判断步骤间蕴含关系，从而自动生成步骤级正确/错误标签，并以最大间隔对比损失训练判别器。解码阶段，每一步用核采样采样一组候选下一步，按(1−β)log p_LM+βD(q,r,s)打分，选最高分步骤加入前缀并重复。实验覆盖GSM8K、MathQA-Gain、SVAMP、MultiArith四个数学任务和Coin Flip、Tracking Shuffled Objects两个符号任务，使用FLAN-T5-Large与LLaMA 7B/13B，比较贪心解码、beam search、自洽性、解验证器和仅LM打分；GSM8K另做人工与LLM评估。对缺少参考步骤解的任务，材料说明用GPT-3.5-turbo生成逐步解。
- 学术贡献
- 在方法层面，论文提出一种不依赖语言模型训练或微调的步骤级判别器引导解码策略，把正确性判别从完整解后排序推进到生成过程中的下一步选择，属于链式思维解码与步骤级验证交叉的方法创新。在数据构造层面，论文提出基于动态规划对齐的步骤级标签自动生成方法，利用采样错误解与参考解对齐得到正确/错误步骤对，降低对步骤级人工标注的依赖。在领域拓展与实证层面，论文把步骤级判别器用于四个数学和两个符号推理任务，并在FLAN-T5与LLaMA两类模型上给出相对贪心解码、验证器、自洽性等基线的比较结果；GSM8K上的人工与LLM评估进一步把贡献落到中间推理链正确性这一议题。材料还报告了与自洽性结合后的增益，说明该解码策略可作为现有采样后聚合方法的前置引导组件。
- 存在局限
- 论文方法依赖参考解或由GPT-3.5-turbo生成的逐步解来构造训练标签；对本身缺少步骤级参考解的任务，标签质量受生成解影响，材料未给出该生成解噪声对判别器的影响评估。判别器训练需要从语言模型采样约10万条错误解，并需对齐与训练步骤级判别器，计算与工程成本较高；材料未报告该成本与收益的定量权衡。为节省LLaMA采样时间，除MultiArith外，LLaMA任务使用由FLAN-T5-Large样本训练的判别器，存在判别器训练分布与目标语言模型分布不一致的问题，材料未单独量化这一不一致的影响。方法假设已生成前缀正确，并只在下一步候选上做正确性打分；一旦早期步骤出错，后续引导能否纠偏，材料未给出系统性分析。评估覆盖四个数学与两个符号任务、FLAN-T5-Large和LLaMA 7B/13B；人工与LLM评估只在GSM8K上进行，尚未说明中间推理正确性结论在其他任务上的可迁移性。
- 进一步研究方向
- 可做判别器采样来源的对照实验：分别用FLAN-T5-Large与目标LLaMA模型采样错误解训练判别器，在相同解码预算下比较最终答案准确率与步骤正确率，以验证训练/测试分布匹配对GRACE的影响。可对GSM8K及符号任务的步骤对齐结果做人工标注审计，统计缺失、额外、可比三类对齐及中间变量/NLI判定造成的标签错误，并将标签噪声与判别器分数校准、最终准确率做关联分析。可在材料已用的六个任务上系统扫描候选池大小J、判别器系数β、采样温度和判别器训练样本量，绘制准确率—采样成本曲线，以确定引导强度与计算预算的边界。可把逐步判别器接入beam search或树式候选扩展，而不仅在每步核采样后选一个步骤，比较不同搜索宽度下的步骤正确率与最终答案准确率；并把人工/LLM中间推理评估扩展到GSM8K之外的任务，以检验中间链正确性提升是否具有跨任务一致性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling