纠正型检索增强生成
Corrective Retrieval Augmented Generation
Shi-Qi Yan, Jia-Chen Gu, Yun Zhu, Zhen-Hua Ling
arXiv (Cornell University) · 2024-01-29
开放获取大模型与语言检索增强与智能体被引 32影响因子 ≈0.2
摘要
大型语言模型（LLM）不可避免地会出现幻觉现象，因为其生成文本的准确性无法仅依靠模型内部存储的参数化知识来保证。尽管检索增强生成（RAG）是补充大型语言模型的可行方案，但它高度依赖所检索文档的相关性，这就引发了人们对检索出错时模型行为的担忧。针对这一问题，我们提出纠正型检索增强生成（CRAG）以提升生成过程的鲁棒性。具体而言，我们设计了轻量级的检索评估器，用于评判针对某一查询所检索到的文档的整体质量，并据此返回置信度，进而触发不同的知识检索操作。由于从静态且有限的语料库中只能获取次优的文档，因此我们利用大规模网络搜索来拓展检索结果。此外，我们还为检索到的文档设计了分解-重组算法，以便有选择地提取关键信息并过滤掉其中的无关内容。CRAG具备即插即用特性，能够与各类基于RAG的方法无缝结合。在涵盖短文本和长文本生成任务的四个数据集上进行的实验表明，CRAG能够显著提升基于RAG方法的性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文的核心论点是：大语言模型仅靠参数化知识难以保证生成文本准确，而检索增强生成（RAG）虽可作为补充，却高度依赖检索文档的相关性，一旦检索返回不准确结果，生成质量会受阻甚至被误导。为此，作者提出纠正性检索增强生成（CRAG），专门研究检索器返回不准确结果的场景，并尝试为RAG设计纠正策略以提升生成鲁棒性。CRAG的关键构件包括轻量检索评估器、基于置信度触发的Correct/Incorrect/Ambiguous三类知识检索动作、作为扩展的大规模网络搜索，以及面向检索文档的decompose-then-recompose算法。其支撑性论断是：通过评估检索质量并区别执行知识精炼、外部搜索或二者结合，可以过滤无关信息、补充外部知识，从而提高检索结果的利用率。作者还声称CRAG是plug-and-play方法，可嵌入各类RAG式方法；在四个覆盖短文本与长文本生成任务的数据集上，CRAG能显著提升RAG式方法的性能。
- 研究方法
- 方法路径为推理阶段框架设计加多数据集实验评估：CRAG在给定查询与任意检索器返回的文档后，先用轻量检索评估器判断检索质量，再按置信度触发纠正动作。检索评估器以T5-large（0.77B）初始化并微调，训练相关性信号取自现有数据集（如PopQA提供的黄金主题维基标题），负样本从检索结果中随机采样；它对每个查询-文档对单独打分，并汇总为最终置信度，与上、下阈值比较后归入Correct、Incorrect或Ambiguous。若为Correct，则将检索文档切分为知识条带，用同一评估器逐条打分，过滤无关条带并按顺序拼接相关条带，形成内部知识；若为Incorrect，则丢弃检索文档，用ChatGPT将输入改写成关键词查询，调用Google Search API，优先选用Wikipedia等权威网页，抓取内容后按同样精炼流程生成外部知识；若为Ambiguous，则把内部知识与外部知识合并。生成器在查询与选定知识条件下生成输出。实验在PopQA、Biography、PubHealth、Arc-Challenge四个数据集上进行，PopQA、PubHealth、Arc-Challenge用accuracy评价，Biography用FactScore评价；基线涵盖无检索模型、标准RAG、先进RAG（如SAIL、Self-RAG、Ret-ChatGPT、perplexity.ai），并将CRAG分别接入标准RAG与Self-RAG。
- 学术贡献
- 理论/方法层面，该文首次针对检索器返回不准确结果的场景设计纠正策略，把“检索可能出错”作为RAG鲁棒性的核心问题域，并以Correct/Incorrect/Ambiguous动作框架将检索质量评估与知识获取路径切换结合起来。方法创新在于提出plug-and-play的CRAG，包括轻量检索评估器、decompose-then-recompose知识精炼和以大规模网络搜索补充静态语料的扩展机制，使RAG在低质量检索下仍可自我纠正。材料与实验层面，该文将CRAG接入标准RAG和Self-RAG，在PopQA、Biography、PubHealth、Arc-Challenge四个数据集上报告了短文本生成、长文本生成、真假判断和多项选择任务的提升。领域拓展上，它对检索增强生成的鲁棒性、检索质量评估、知识条带过滤与外部知识搜索等议题有直接价值，并给出可复现的代码发布承诺。上述贡献主要落在RAG纠正机制与知识利用流程的设计与验证，而非单纯提出新的检索器或生成器。
- 存在局限
- 材料未设置独立的局限性分析；从已报告的方法与实验设计看，检索评估器的精度仍是关键约束：它用T5-large在特定数据集相关性信号上微调，材料未给出跨检索器、跨语料或跨数据集迁移时的误判率与置信度校准结果，虽以Ambiguous动作缓解对评估器精度的依赖，但未量化缓解程度。上、下阈值的具体取值、选择依据和敏感性分析在材料中未明确提及，而阈值会直接改变三类动作的触发比例与最终生成。Web搜索模块依赖ChatGPT改写查询、Google Search API和网页抓取，材料未说明搜索结果的可复现性、时效性、API稳定性以及抓取与使用网页内容的版权/伦理问题，也未评估外部知识引入偏差的风险。实验仅覆盖四个数据集和RAG、Self-RAG两类管道，材料未报告多跳问答、对话式生成、跨语言任务或其他RAG变体上的表现，样本代表性与外推证据不足。知识精炼中知识条带的切分粒度、过滤规则和重排方式缺少消融结果，难以判断各模块对最终指标的独立贡献。
- 进一步研究方向
- 可开展检索质量受控实验：替换稀疏/稠密检索器、降低top-k或向检索结果注入无关文档，记录Correct/Incorrect/Ambiguous触发分布，并测量CRAG相对标准RAG的增益如何随检索质量变化，以确定纠正策略的适用边界。可对检索评估器做迁移与校准研究：在不同数据集、检索器和语料上训练与测试评估器，报告准确率—置信度校准曲线和误判代价，比较T5-large与其他轻量模型或prompting方案的性价比。可对decompose-then-recompose做系统消融：改变知识条带切分粒度、过滤阈值和重排顺序，在短文本与长文本生成任务上分别观察accuracy与FactScore，确定最优配置。可审计Web搜索扩展：比较不同查询改写提示、搜索API和权威网页过滤策略对生成事实性的影响，同时记录延迟、成本与可复现性，建立外部知识质量审计流程。可将CRAG接入更多RAG变体与任务（如多跳问答、事实验证、对话式检索生成），检验plug-and-play边界，并研究Ambiguous动作中内部知识与外部知识的融合权重与顺序。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling