大型语言模型的检索增强生成技术：综述
Retrieval-Augmented Generation for Large Language Models: A Survey
Yunfan Gao, Yun Xiong, Xinyu Gao, Kangxiang Jia, Jinliu Pan, Yuxi Bi, Yi Qi Dai, Jiawei Sun, Wang, Meng, Wang, Haofen
arXiv (Cornell University) · 2023-12-18
开放获取大模型与语言检索增强与智能体被引 870影响因子 ≈0.2
摘要
大型语言模型（LLMs）虽展现出卓越的能力，却面临幻觉现象、知识过时以及推理过程不透明且难以追溯等问题。检索增强生成（RAG）技术通过引入外部数据库中的知识，成为解决上述问题的有效途径。该技术不仅能提升生成内容的准确性与可信度，尤其适用于知识密集型任务，还可实现知识的持续更新以及特定领域信息的整合。RAG将大型语言模型固有的知识与外部数据库中庞大且动态的资源有机结合。这篇综合性综述文章详细梳理了RAG范式的发展历程，涵盖朴素型RAG、进阶型RAG以及模块化RAG；同时深入剖析了RAG框架的三大核心组成部分，即检索、生成与增强技术，逐一介绍了各组件中所采用的前沿技术，帮助读者全面理解RAG系统的研究进展。此外，文章还介绍了最新的评估框架与基准测试体系。最后，文章指出了当前该领域面临的挑战以及未来的研发方向。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该综述针对大语言模型在领域特定或知识密集型任务中出现的幻觉、知识过时、推理不透明且不可追踪等问题，主张检索增强生成（RAG）通过从外部知识库检索相关文档片段并与原问题共同输入LLM，提升生成准确性与可信度，并支持持续知识更新和领域信息集成。其问题域是LLM时代的RAG技术体系，核心术语包括Naive RAG、Advanced RAG、Modular RAG，以及检索、生成、增强三部分。论文将RAG范式概括为索引—检索—生成的朴素流程，以及面向预检索、后检索优化的高级流程和可替换、可重排模块的模块化流程。论文还比较RAG与微调、提示工程在外部知识需求和模型适配需求上的差异，认为RAG适合动态环境和实时知识更新，微调适合特定结构、风格或格式复制，二者可互补。最后，论文提出评估框架与基准，并讨论当前挑战与未来研发方向。
- 研究方法
- 该文采用文献综述与分类归纳路径，汇总超过100项RAG研究，构建RAG技术树并划分三种研究范式。作者以检索、生成、增强为三部分，逐一梳理索引优化、查询优化、嵌入优化、后检索重排与上下文压缩、LLM微调等具体技术。材料还通过表格汇总方法、检索源、检索数据类型、检索粒度、增强阶段与检索过程，形成方法比较矩阵。评估部分汇总26项任务、近50个数据集，并梳理评价目标、指标、基准与工具。材料中未明确提及系统综述的数据库检索式、纳入排除标准、筛选流程、元分析或统一实验复现。
- 学术贡献
- 在理论建构层面，论文提出Naive RAG、Advanced RAG、Modular RAG三阶段范式，将RAG研究从早期预训练增强到推理阶段增强再到与微调结合的发展轨迹加以类型化。在方法分类层面，论文明确检索、生成、增强三大组件及其协同关系，并列出搜索、记忆、路由、预测、任务适配等模块与Rewrite-Retrieve-Read、Generate-Read、Recite-Read、HyDE、DSP、ITER-RETGEN、FLARE、Self-RAG等流程。在材料汇总与评估层面，论文整理26项任务、近50个数据集及评价目标、指标、基准和工具，并公开RAG-Survey资源库。该贡献主要面向自然语言处理、信息检索和知识密集型问答中的RAG系统研究。材料中未明确提及对艺术学、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等领域的直接贡献。
- 存在局限
- 作为综述，材料未明确交代文献检索的数据库范围、检索时间、关键词策略、纳入与排除标准及筛选编码流程，因此覆盖范围与分类结果的可重复性无法核验。论文对RAG方法的比较主要依据已有研究结论和表格归类，材料中未明确提及对所述方法进行统一实验复现、控制变量或同一基准上的横向量化测评。评估部分虽列出26项任务、近50个数据集、指标与工具，但未明确给出各范式或各方法在这些基准上的系统性能排序与统计检验。Table I以检索源、数据类型、粒度、增强阶段、检索过程等维度归类方法，材料中未明确说明类别边界重叠时如何处理以及分类一致性如何检验。论文对RAG与微调的比较限于既有评估结论，材料中未明确提及成本、延迟、伦理风险在多任务条件下的量化权衡。材料中未明确提及非文本模态、艺术学或人文学科语料的应用与评价。
- 进一步研究方向
- 可围绕Naive RAG暴露的检索精度与召回不足、生成幻觉、增强冗余和风格不一致，设计预检索查询重写与扩展、后检索重排与上下文压缩的消融实验，并在材料所列知识密集型任务与数据集上比较Advanced RAG与Modular RAG的效果。可针对RAG与微调的关系，开展检索器微调、生成器微调、协同微调的迭代训练实验，验证在动态知识更新、特定格式风格复制和新知识注入场景中的性能差异。可将检索源从文本扩展到知识图谱、表格、跨语言文本和代码等材料提及的数据类型，检验多源混合检索与子查询、HyDE、RAG-Fusion对多跳和开放域问答的影响。可依据材料汇总的26项任务、近50个数据集和评价工具，建立统一评测协议，分别报告检索、生成、增强环节的指标，并检验冗余、毒性、偏差、连贯性和风格一致性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling