GRACE：基于判别器引导的链式思维推理
GRACE: Discriminator-Guided Chain-of-Thought Reasoning
Muhammad Khalifa, Lajanugen Logeswaran, Moontae Lee, Honglak Lee, Lu Wang
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) · 2023-01-01
摘要
在多步推理场景中，例如采用链式思维方法时，语言模型很容易为错误的推理步骤赋予较高的概率值。因此，以求解概率最优为目标的解码策略往往会产生错误结果。为解决这一问题，我们提出了基于正确性判别器引导的链式思维推理方法（GRACE），这是一种逐步解码的方法，能够引导解码过程生成正确的推理步骤。GRACE采用通过对比损失函数在正确与错误步骤上训练得到的判别器，在解码过程中依据步骤的正确性对后续步骤候选进行评分。值得注意的是，GRACE仅需从语言模型中采样，无需对语言模型进行训练或微调。我们利用FLAN-T5和LLaMA系列模型，在四类数学推理任务与两类符号推理任务上对GRACE进行了评估，结果显示在大多数场景下其性能均显著优于贪婪解码、验证器以及自一致性方法；当GRACE与自一致性方法结合使用时，其性能优势更为明显。针对GSM8K数据集的人类和语言模型评估表明，GRACE不仅能提升最终答案的准确性，还能提高中间推理步骤的正确性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文针对链式思维等多步推理中语言模型容易给错误步骤较高似然、而按解似然解码往往得到错误解的问题，提出GRACE：以步骤级正确性判别器引导解码。其核心论点是，下一步步骤的选择应同时依据语言模型概率与步骤正确性，通过判别器对候选下一步打分并将解码过程逐步导向正确推理步骤。GRACE使用在正确与错误步骤上以对比损失训练的判别器，且只要求从语言模型采样，不需要语言模型训练或微调。实验在四个数学任务和两个符号推理任务上显示，GRACE在多数设置下优于贪心解码、验证器与自洽性方法；与自洽性结合后进一步大幅领先，GSM8K上的人工与LLM评估还表明其提升了最终答案准确率和中间推理正确性。
- 研究方法
- 该文的方法路径包括判别器训练与引导式逐步解码两部分：先对每个问题用top-k采样生成多个解，仅保留最终答案错误的解作为负样本；再用Needleman-Wunsch动态规划对齐采样解与参考解，以ROSCOE步骤嵌入的余弦距离为对齐代价，处理缺失步骤、多余步骤与可比步骤，数学任务比较等号后的中间变量，符号任务用预训练NLI模型判断步骤间蕴含关系。随后以max-margin损失训练步骤级判别器，使正确步骤得分高于错误步骤。解码阶段用nucleus sampling为下一步采样J个候选，按(1−β)log pLM(s|q,r)+βD(q,r,s)打分并选最高分步骤加入前缀，循环至生成最终答案。实验材料包括GSM8K、MathQA-Gain、SVAMP、MultiArith、Coin Flip与Tracking Shuffled Objects；对无参考步骤解的SVAMP、MultiArith、CF、TSO，该文用GPT-3.5-turbo生成逐步解。每个任务约采样100K错误解训练判别器，判别器为约340M的FLAN-T5Large编码器，语言模型为FLAN-T5Large与LLaMA 7B/13B，基线包括贪心解码、beam search、自洽性、solution verifier与LM-only scoring。
- 学术贡献
- 在理论建构层面，该文把步骤级正确性判别器引入链式思维解码，给出以语言模型下一步概率与判别器正确性得分联合打分的逐步解码形式，推进了受控生成在推理步骤层面的应用。在方法创新层面，该文提出基于动态规划对齐的步骤级正确/错误标签自动构造流程，减少了对步骤级人工标注的依赖，并以max-margin对比目标训练判别器。在实证层面，该文在六个多步推理基准、两个模型家族上比较贪心解码、验证器与自洽性，报告了最终答案准确率提升，并给出GRACE与自洽性结合后的增益；GSM8K人工评估显示解错误率从9.0%降至5.0%。在领域拓展层面，该文对数学与符号多步推理的解码策略、步骤级验证器以及自洽性后处理等议题形成直接对照。
- 存在局限
- 判别器训练的负样本主要来自FLAN-T5Large的采样解，除MultiArith使用LLaMA7B采样外，材料未明确说明是否针对LLaMA13B等模型的错误分布专门构造负样本，跨模型错误覆盖存在限制。步骤对齐依赖中间变量比较与NLI判定，材料未明确报告对齐算法在缺失步骤、多余步骤与可比步骤上的准确率，也未单独评估错误对齐对判别器训练的传播影响。中间推理正确性的人工与LLM评估仅在GSM8K上报告，其他五个任务主要报告最终答案准确率，步骤级收益在这些任务上的外部效度未被直接检验。SVAMP、MultiArith、CF、TSO缺少参考步骤解而使用GPT-3.5-turbo生成逐步解，材料未明确给出该生成解的噪声评估及其对判别器训练数据质量的影响。
- 进一步研究方向
- 可分别用FLAN-T5、LLaMA不同规模模型采样负例训练多个判别器，构建跨模型迁移矩阵，检验判别器学到的是通用步骤错误还是特定模型的采样偏差。可对对齐算法开展小规模人工标注评估，按缺失、多余、可比与NLI判定四类统计错误率，并比较不同步骤等价判定器对判别器训练与最终解码的影响。可在GSM8K之外对SVAMP、MultiArith、Coin Flip与Tracking Shuffled Objects补充步骤级人工或LLM评估，直接检验中间推理正确性提升是否随任务类型变化。可对β、候选池大小J、margin超参数ζ与判别器规模做系统消融和敏感性分析，并比较步骤级打分与token级打分在相同采样预算下的差异；材料中未明确给出这些完整结果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling