主动检索增强生成
Active Retrieval Augmented Generation
Zhengbao Jiang, Frank F. Xu, Luyu Gao, Zhiqing Sun, Qian Liu, Jane Dwivedi-Yu, Yiming Yang, Jamie Callan, Graham Neubig
Conference on Empirical Methods in Natural Language Processing (EMNLP) · 2023-01-01
开放获取检索增强与智能体被引 470被引前 10%影响因子 ≈4.4
摘要
该论文发表于2023年自然语言处理实证方法会议，作者包括蒋正宝（Zhengbao Jiang）、弗兰克·许（Frank Xu）、高璐宇（Luyu Gao）、孙志清（Zhiqing Sun）、刘倩（Qian Liu）、简·德维迪-余（Jane Dwivedi-Yu）、杨一鸣（Yiming Yang）、杰米·卡兰（Jamie Callan）以及格雷厄姆·纽比格（Graham Neubig）。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对大语言模型容易产生幻觉与事实不准确输出的问题，指出既有检索增强语言模型多采用基于输入只检索一次的“检索—生成”设置，难以应对长文本生成中不断变化的信息需求。作者提出主动检索增强生成的广义框架，主张在生成过程中主动决定何时检索与检索什么，而不是按固定间隔被动使用历史上下文。其核心方法是FLARE（Forward-Looking Active REtrieval augmented generation）：迭代生成一个临时下一句以预判未来内容，若该句包含低置信度token，则以之为查询检索相关文档并重新生成该句。FLARE包含FLAREinstruct与FLAREdirect两种实现，前者用检索指令提示模型生成[Search(query)]，后者直接以模型生成的下一句触发检索。论文在2WikiMultihopQA、StrategyQA、ASQA、ASQA-hint与WikiAsp四个长文本知识密集型生成任务/数据集上测试，报告FLARE在所有任务上取得优于或具竞争力的表现，其中多跳问答提升最显著。
- 研究方法
- 论文首先形式化单次检索增强生成与主动检索增强生成：第t步查询qt由用户输入x与已生成输出y<t决定，初始q1=x，生成yt=LM([Dqt,x,y<t])，并丢弃此前检索文档以控制输入长度。FLAREdirect在每步先不条件于检索文档生成临时下一句，若任一词概率低于阈值θ则触发检索；查询构造采用掩码低置信度token的隐式查询或针对低置信度片段生成问题的显式查询，后者用gpt-3.5-turbo做零样本问句生成。FLAREinstruct通过少样本提示把“生成搜索查询”作为技能1、下游任务作为技能2，遇[Search(query)]即中断生成并检索。基础语言模型为text-davinci-003，检索器对维基类数据用Karpukhin等（2020）的Wikipedia dump与BM25，对开放网络数据用Bing搜索，检索文档按排名线性化后前置到输入。实验采用少样本上下文学习，因成本限制每个数据集最多抽样500例，基线包括无检索、单次检索、固定窗口（l=16）、前一句检索与问题分解（如self-ask），并按各数据集使用EM、F1、ROUGE、Disambig-F1、UniEval等指标。
- 学术贡献
- 在理论/框架层面，论文把主动检索增强生成形式化为在生成过程中动态决定检索时机与查询的通用框架，区分“何时检索”与“检索什么”两个问题，并将单次与多次检索基线纳入同一形式化表述。在方法层面，提出FLARE及FLAREinstruct、FLAREdirect两种实现，其中基于下一句置信度的触发机制和掩码句子/生成问句两类查询构造，为无需额外训练、可在推理阶段接入现有LM的检索增强提供了具体设计。在实证层面，论文在四个长文本知识密集型生成任务/数据集上系统比较单次检索与多类多次检索基线，报告FLARE在所有任务上优于或具竞争力，尤其多跳问答提升显著，ASQA-hint相对ASQA提升更大，表明通用提示可帮助模型保持话题。论文还报告用下一句检索显著优于用先前上下文检索（材料指出见6.2节），并公开代码与数据集。这些贡献对检索增强语言模型、长文本生成、多跳问答、常识推理、长文本问答与开放域摘要等子领域有直接价值。
- 存在局限
- 实验仅以text-davinci-003作为基础LM并通过API迭代查询，未在其他可训练或开源模型上验证，因此方法对模型校准与置信度阈值的依赖是否普遍成立材料中未明确。FLAREdirect以低概率token作为知识缺乏信号，但论文也指出下一句若含错误事实，直接用其作查询可能检索到误导信息并延续错误。FLAREinstruct依赖少样本检索指令，作者明确表示黑盒LM生成的查询可能不可靠。实验因运行成本每个数据集最多抽样500例，样本规模与任务覆盖受限；基线并非原论文的精确复现，而是在相同设置下仅改变检索时机与查询，作者也承认设计差异使直接比较不可能。对ASQA这类开放式任务，论文指出即便人类也难识别问题的歧义方面，评估与生成难度较高；ASQA-hint需额外提供通用提示才获得较大提升。此外，为控制输入长度而丢弃此前检索文档，可能丢失后续生成所需信息。
- 进一步研究方向
- 后续可在更多基础LM（包括可微调的开源模型）上复现FLARE，检验置信度阈值θ、掩码阈值β以及掩码隐式查询与生成问句显式查询在不同模型和任务上的稳健性。可扩大评估规模，使用各数据集完整测试集而非最多500例抽样，并比较BM25、Bing及其他检索器对触发时机与查询构造的影响。可针对临时下一句包含错误事实的风险，设计检索后的事实校验与句子修订流程，检验其能否减少查询误导导致的错误延续。论文已指出FLARE可基于短语或段落而非仅句子进行迭代，后续可系统比较句子、短语、段落三种粒度对长文本生成质量与检索效率的影响。还可将同一主动检索框架扩展到材料所列四类任务之外的更多长文本知识密集型生成场景，并记录每次检索的触发位置与查询内容，以分析“何时检索”和“检索什么”对最终输出的独立贡献。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling