基于思维链推理的检索与知识密集型多步问答交错处理
Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions
Harsh K. Trivedi, Niranjan Balasubramanian, Tushar Khot, Ashish Sabharwal
Annual Meeting of the Association for Computational Linguistics (ACL) · 2023-01-01
摘要
基于提示词的大型语言模型在生成自然语言推理步骤或思维链方面表现出惊人的能力，能够应对多步问答任务。然而，当所需知识超出模型自身储备或并非其参数内的最新信息时，这些模型便难以胜任。尽管利用问题从外部知识源检索相关文本有助于提升大型语言模型的表现，但我们发现这种单步检索-阅读模式并不足以应对多步问答任务。因为检索内容取决于已推导出的结论，而这些结论又可能依赖于先前检索到的信息。针对这一问题，我们提出了IRCoT这一新型多步问答方法，它将检索过程与思维链中的步骤（句子）交错进行，既借助思维链指导检索，又利用检索结果优化思维链。在HotpotQA、2WikiMultihopQA、MuSiQue和IIRC四个数据集上，采用GPT-3模型的IRCoT方法使检索准确率提升了多达21个百分点，下游问答准确率也提高了多达15个百分点。我们在分布外场景以及Flan-T5-large这类规模更小的模型上同样观察到了显著的性能提升，且无需额外训练。IRCoT还能减少模型的幻觉现象，从而产出事实准确性更高的思维链推理结果。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对知识密集型多步问答，指出基于提示的大语言模型虽能生成思维链，但当所需知识不在参数中或未更新时表现受限。论文观察到仅用问题做一次“检索—阅读”不足以支撑多步问答，因为后续要检索什么取决于已推导出的中间结论，而已推导结论又依赖先前检索。因此提出IRCoT，将检索与思维链的句子级步骤交错：先用问题检索基础段落，再交替执行Reason生成下一句思维链和Retrieve以最后一句思维链为查询扩展段落，直到生成answer is或达到最大步数。在HotpotQA、2WikiMultihopQA、MuSiQue、IIRC上使用GPT3等模型，IRCoT提升检索recall最多21点、下游问答F1最多15点，并在OOD设置与Flan-T5-large等小模型无额外训练条件下保持增益。论文还称IRCoT减少模型幻觉，使生成的思维链事实错误更少，但这些主张的具体边界需结合其指标与标注设计理解。
- 研究方法
- 采用retrieve-and-read范式的少样本开放域设置，不训练模型，将IRCoT作为检索器，读取器由direct prompting或思维链提示实现。基础检索器为Elasticsearch中的BM25；IRCoT的思维链生成器使用GPT3 code-davinci-002与Flan-T5 base、large、XL、XXL不同规模模型。数据为HotpotQA、2WikiMultihopQA、MuSiQue可答子集、IIRC可答子集；每个数据集从原dev集随机抽100题调参、500题测试，并写20个问题的思维链，构造3组各15题的演示集，报告三组结果均值与标准差。对比NoR QA、OneR QA、IRCoT QA；检索上限15段，每步检索K段，K与干扰段数M在dev上搜索；检索指标为固定预算最优recall，问答指标为answer F1。OOD实验用一数据集的提示演示在另一数据集上评测，IIRC因任务结构特殊被排除；事实错误分析由人工标注GPT3在四个数据集各随机40题生成的思维链是否含至少一个事实错误。
- 学术贡献
- 提出一种无需额外训练、以LLM零样本或少样本思维链生成能力驱动检索的检索方法IRCoT，把思维链引导检索、检索改进思维链的双向关系操作化为句子级交错算法。在方法层面为开放域多步问答的检索环节提供新路径，区别于仅以问题为查询的一次性检索，也区别于依赖大规模监督训练的迭代检索与查询改写。在实验层面系统呈现IRCoT在四个多步问答数据集上的检索recall与答案F1增益，并扩展到OOD与小模型场景，说明无需训练也可提升小模型表现。通过人工标注思维链事实错误，论文给出IRCoT降低幻觉、减少思维链事实错误的证据，对知识密集型多步推理的事实性议题有直接价值。在文献定位层面，论文将IRCoT与SelfAsk、DecomP、ReAct等近期多步开放域问答提示方法并置，指出这些方法未聚焦检索问题且未证明小模型无训练有效性。
- 存在局限
- 底层检索器只用BM25，未在材料中报告与其他稀疏或稠密检索器组合的消融，因此IRCoT的增益在多大程度上依赖BM25的召回特性材料中未明确。检索指标是固定预算最优recall，且文档不排序，MAP、DCG、Recall@k等不适用；这种设定虽贴合其变长检索过程，但限制与常规信息检索指标的直接对话。GPT3在IIRC上检索提升约21点却未带来问答F1提升，材料归因于相关知识可能已在模型参数中，但该例外未通过控制实验进一步拆解。OOD评测与模型规模扩展实验均排除IIRC，小模型场景也未覆盖IIRC；因此结论向该数据集和特殊结构任务的推广边界在材料中不完整。事实错误人工标注仅覆盖GPT3在四个数据集各40题，材料未报告标注者间一致性、错误类型或步骤位置分布，也未说明与答案错误之间的分离分析。
- 进一步研究方向
- 在统一语料、统一LLM和统一少样本示例下，将IRCoT与SelfAsk、DecomP、ReAct做可控比较，测量检索recall、答案F1与思维链事实错误，以厘清交错检索相对问题分解或推理—行动序列的增量。将IRCoT的底层检索器从BM25替换为稠密或神经检索器，并在相同固定段落预算下做消融，检验检索器排序质量与思维链引导查询之间的交互。专门补齐IIRC：在OOD交叉评测和Flan-T5小规模模型中纳入IIRC，设置参数知识探测对照，验证GPT3在IIRC上检索提升但问答不提升是否确由参数知识覆盖所致。扩大思维链事实错误标注规模，按推理步骤位置、实体类型与错误来源分层，并报告标注者间一致性，以区分IRCoT降低的是检索缺失型错误还是生成幻觉型错误。对终止条件answer is、最大步数、每步K值与总段落上限做系统消融，观察这些超参数如何影响检索recall、问答F1与事实错误数，从而给出可复现的配置边界。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling