检索增强生成领域最佳实践探究
Searching for Best Practices in Retrieval-Augmented Generation
Xiaohua Wang, Zhenhua Wang, Xuan Gao, Feiran Zhang, Yixin Wu, Zhibo Xu, Tianyuan Shi, Zhengyuan Wang, Shizheng Li, Qi Qian, Ruicheng Yin, Changze Lv, Xiaoqing Zheng, Xuanjing Huang
Conference on Empirical Methods in Natural Language Processing (EMNLP) · 2024-01-01
开放获取检索增强与智能体被引 115被引前 10%影响因子 ≈4.4
摘要
王晓华（Xiaohua Wang）、王正华（Zhenghua Wang）、高轩（Xuan Gao）、张飞然（Feiran Zhang）、吴艺欣（Yixin Wu）、徐志博（Zhibo Xu）、石天元（Tianyuan Shi）、王正元（Zhengyuan Wang）、李世正（Shizheng Li）、钱琪（Qi Qian）、尹瑞程（Ruicheng Yin）、吕昌泽（Changze Lv）、郑晓晴（Xiaoqing Zheng）、黄宣静（Xuanjing Huang）。载于《2024年自然语言处理实证方法会议论文集》，2024年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是检索增强生成（RAG）可整合最新信息、缓解大语言模型幻觉并提升响应质量，尤其在专业领域中有效。现有RAG方法虽能通过依赖查询的检索增强大语言模型，但普遍存在实现复杂和响应时间过长的问题。典型RAG工作流包含查询分类、检索、重排、重打包、摘要等步骤，且文档分块、嵌入、向量数据库选择与生成器微调等环节均有多种实现方式，其组合会显著影响系统效果与效率。作者主张通过大量实验识别最优RAG实践，并提出在性能与效率之间取得平衡的部署策略。论文还主张多模态检索技术能显著提升视觉输入问答能力，并通过“retrieval as generation”策略加速多模态内容生成。材料所属为自然语言处理中的检索增强生成研究，未涉及艺术理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等艺术学子领域议题。
- 研究方法
- 论文采用三步实验筛选法：先比较每个RAG模块的代表性方法并选出最多三个表现最佳的方法。再逐一替换单个模块的方法，同时保持其他RAG模块不变，以评估该方法对整体RAG性能的贡献及其与其他模块在响应生成中的交互。最后经验性探索若干有前景的组合，区分效率优先于性能或性能优先于效率的不同应用场景。材料与样本包括查询分类的111K样本、覆盖15类任务，其中64K标注为需要检索、47K标注为不需要检索；检索实验使用TREC DL 2019和2020 passage ranking数据集，重排实验使用MS MARCO Passage数据集，摘要实验使用NQ、TriviaQA和HotpotQA。生成器微调选择Llama-2-7B，在多个QA和阅读理解数据集上以ground-truth coverage及较宽松的Exact Match评价，并控制Dg、Dr、Dgr、Dgg等上下文构成。向量数据库比较Weaviate、Faiss、Chroma、Qdrant和Milvus，评价标准为多种索引类型、十亿级向量支持、混合搜索和云原生能力；材料在“10 million”处截断。
- 学术贡献
- 论文系统调查现有RAG方法及其潜在组合，并推荐优化后的RAG实践，属于方法评估与工程实践层面的贡献。它提出覆盖通用性能、专业领域性能和RAG相关能力的评估指标与对应数据集框架。论文证明多模态检索技术可增强视觉输入问答，并展示“retrieval as generation”策略对多模态内容生成的加速作用。论文给出具体模块推荐，如HyDE与混合搜索作为默认检索、monoT5作为综合平衡重排、RankLLaMA用于最佳性能、TILDEv2用于固定集合上的最快重排、Recomp用于摘要、Milvus作为向量数据库。这些贡献对RAG部署中的查询分类、检索、重排、重打包、摘要和生成器微调等具体议题有价值，但与艺术学各子领域无直接关联。
- 存在局限
- 论文明确无法测试所有可能的方法组合，因而只能采用三步启发式筛选，可能遗漏全局最优组合。检索器微调被明确留待未来探索，生成器与检索器的联合优化未被系统检验。元数据添加到chunk的研究未展开，作者称将在未来工作中处理，使分块模块的论证不完整。查询分类依赖按15类任务及是否提供足够信息进行划分，可能限制其对未列入任务类型的泛化。向量数据库评估仅列出五款开源方案，且材料在“10 million”处截断，十亿级与云原生标准的实际验证细节未完整呈现。生成器微调主要使用Llama-2-7B与若干QA和阅读理解数据集，材料未说明跨模型、跨语言或非NLP领域的适用性。
- 进一步研究方向
- 可对检索器微调以及检索器与生成器联合优化开展实验，在论文已有评估框架下验证其是否同时改善性能与效率。可将标题、关键词、假设问题等元数据加入chunk并进行系统测评，验证其对检索精度和生成质量的影响。可扩展查询分类至更多任务类型与开放域数据，测试分类器在检索必要性判断上的错误类型与成本。可在十亿级向量和云原生部署条件下复现Milvus等数据库比较，补全材料截断处的规模实验。可对多模态检索与“retrieval as generation”在更多视觉问答和多模态生成任务上做对照实验，检验其加速与质量增益。若尝试移植到艺术学领域，材料未提供依据；需另行构建艺术领域专用检索语料与评估指标，且不能由本文结论直接推导。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling