面向自然语言处理的检索增强生成:综述
Retrieval-augmented generation for natural language processing: a survey
Shangyu Wu, Ying Xiong, Yufei Cui, Haolun Wu, Can Chen, Ye Yuan, Lianming Huang, Xue Liu, Tei‐Wei Kuo, Nan Guan, Chun Jason Xue
Artificial Intelligence Review · 2026-06-01
开放获取大模型与语言检索增强与智能体被引 155被引前 10%影响因子 ≈38.9
摘要
大型语言模型(LLMs)在诸多领域展现出卓越成效,这得益于其存储知识的海量参数。然而,大型语言模型仍存在若干关键问题,如幻觉问题、知识更新问题以及缺乏领域专属专业知识。检索增强生成(RAG)的出现利用外部知识库对大型语言模型进行增强,弥补了大型语言模型的这些缺陷。本文梳理了检索增强生成的所有重要技术,尤其聚焦于检索器与检索融合环节。此外,本文提供了教程代码,用于实现检索增强生成中的代表性技术。本文进一步探讨了检索增强生成的更新机制,包括带知识更新与不带知识更新的检索增强生成。随后,我们介绍了检索增强生成的评估与基准测试,以及检索增强生成在代表性自然语言处理任务与产业场景中的应用。最后,本文探讨了检索增强生成的未来发展方向与挑战,以推动该领域的发展。
本摘要由 AI(Hy-MT2-Pro)翻译生成,仅供参考,请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是:大语言模型将知识隐式存储在参数中,虽在多种自然语言处理任务上表现强劲,却受幻觉、知识更新成本高、缺乏领域专门知识三项关键问题制约;检索增强生成(RAG)通过在推理时引入外部知识库,使生成以可验证的检索信息为依据,从而缓解幻觉,以更新外部数据库替代重训练,并通过构建专门知识库注入领域专长。论文以RAG系统为对象,将其拆分为检索器、生成器与检索融合三个模块,重点评述检索器与检索融合的技术路线。作者提出检索融合的四类分类:基于查询的融合、基于logits的融合、潜在融合与参数化融合,并按可访问性、效率、实现复杂度与使用场景进行结构化比较。论文还讨论有/无知识库更新的RAG训练范式、RAG评估与基准、代表性NLP任务与工业场景应用,并将安全、效率与GraphRAG列为未来挑战。
- 研究方法
- 论文采用系统性综述与分类学建构的方法,而非实验性或实证研究:材料中未明确提及自建数据集、对照实验或统计检验。作者以表1将本文与六篇既有综述在检索器构建、查询、检索融合、生成器、NLP任务、基准、训练/更新、工具与教程代码等维度逐项对照,据此界定本文的差异化覆盖面。技术路径上,论文以图1给出RAG端到端流程,并用算法1演示检索器构建中的分块、编码、键值存储与索引步骤,并称辅以时间/空间复杂度分析。材料构成包括检索器、编码器、索引、融合、生成器与训练更新等环节的代表性技术文献,以及语言建模、机器翻译、文本摘要、问答、信息抽取、文本分类、对话系统等NLP任务类别;作者还提供GitHub教程代码(RAG-Tutorials)作为可复现实现材料。
- 学术贡献
- 在理论建构层面,论文提出检索融合的四类型分类(查询、logits、潜在、参数化),并把参数化融合明确为将外部知识编码进LoRA模块、选取top-k模块合并进模型权重的知识注入路径,为RAG系统设计提供了可比较的概念框架。在方法与工程层面,论文以端到端系统分解、算法级走查与复杂度分析连接概念与可实现流水线,并给出跨可访问性、效率、实现复杂度与使用场景的结构化比较,对检索器构建与融合选型这一子议题具有直接的操作价值。在训练与知识更新子领域,论文按“有/无知识库更新”整理检索器训练、生成器训练与联合训练策略,并将参数高效知识注入工作流与检索器/生成器优化相衔接。在领域拓展与材料整合层面,论文把评估方法、基准局限、NLP任务应用、工业部署与工具生态纳入同一综述框架,并公开教程代码,形成对RAG实践者与教学者的工具性材料。
- 存在局限
- 论文的比较以定性梳理为主:材料中未明确提及对四类检索融合在同一检索器、同一生成器与同一数据条件下的受控实验,因此可访问性、效率与实现复杂度的排序缺乏可复现的量化证据。检索融合分类的边界在混合融合设计中可能交叠,论文虽提及混合融合,但未给出判定规则或消融式验证。评估部分虽讨论基准局限,但论文自身未提出新的评估协议、指标或基准数据集,评估结论仍依赖既有文献。材料中未明确提及系统性检索策略、纳入/排除标准或文献筛选流程,综述的可重复性与覆盖偏差难以核验。工业部署、安全与隐私、GraphRAG等部分以方向性讨论为主,缺少案例数据或威胁模型下的实测;分块大小也被作者表述为“没有黄金法则”,未给出经实验校准的指导。
- 进一步研究方向
- 可设计受控对照实验:固定检索器与生成器,在问答、摘要、对话等任务上比较查询融合、logits融合、潜在融合与参数化融合的准确率、延迟与显存占用,以检验论文给出的效率—可访问性权衡。可构建知识库动态更新基准:在推理阶段注入、删除或替换文档,测量更新延迟、事实一致性、旧知识残留与性能回退,并比较有/无知识库更新的训练范式。可针对参数化融合开展消融比较:比较top-k LoRA模块合并与查询、logits、潜在融合在领域知识注入、参数效率与模块干扰上的差异。可对分块策略与预处理做多因素实验:以任务类型、编码器最大输入长度与查询长度为因素,测量检索命中率与下游生成质量,形成可操作的选型规则。还可为GraphRAG与跨模态检索建立评测集,并引入数据投毒、隐私泄露等威胁模型,测量安全防护对检索质量与效率的影响。
本综述由 AI(deepseek-flash)阅读开放获取全文自动生成,仅供参考,不代表原文作者观点,请以原文为准。
参考文献
相关论文
话题:Topic Modeling