检索增强生成场景下大型语言模型的基准测试
Benchmarking Large Language Models in Retrieval-Augmented Generation
Jiawei Chen, Hongyu Lin, Xianpei Han, Le Sun
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
开放获取大模型与语言检索增强与智能体被引 444被引前 10%影响因子 ≈5.9
摘要
检索增强生成（RAG）是一种用于缓解大型语言模型幻觉问题的有效方法。然而，现有研究缺乏对检索增强生成对不同大型语言模型影响的严谨评估，这导致难以识别RAG在不同大型语言模型应用中的潜在能力瓶颈。本文系统探究了检索增强生成对大型语言模型的影响，分析了不同大型语言模型在RAG所需的四项核心能力上的表现，包括噪声鲁棒性、负面信息排斥能力、信息整合能力以及反事实鲁棒性。为此，我们构建了检索增强生成基准测试集（RGB），这是一套涵盖英语和汉语的RAG评估语料库。RGB根据解决相应问题所需的核心能力，将测试实例划分为四个独立的测试子集。随后，我们利用RGB对六种具有代表性的大型语言模型进行评估，以揭示当前大型语言模型在应用RAG时面临的挑战。评估结果显示，尽管这些大型语言模型具备一定的噪声鲁棒性，但在负面信息排斥、信息整合以及处理虚假信息方面仍存在显著不足。上述评估结果表明，要将RAG有效应用于大型语言模型，仍有很长的路要走。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 《Benchmarking Large Language Models in Retrieval-Augmented Generation》将检索增强生成视为缓解大语言模型幻觉的路径，但指出现有研究缺乏对不同大语言模型在 RAG 下所受影响的严格评估，因而难以识别各模型能力瓶颈。论文把 RAG 所需能力拆为噪声鲁棒性、否定拒答、信息整合与反事实鲁棒性四项，并围绕这四项建立英文和中文的 Retrieval-Augmented Generation Benchmark（RGB）。RGB 将实例按四项能力划分为四个 testbed，并评估 6 个代表性大语言模型。评估结论是模型表现出一定噪声鲁棒性，但在否定拒答、信息整合和处理虚假信息方面仍显著困难；即使模型已有相关知识并经指令警告检索信息可能有误，仍倾向信任检索信息而非自身知识。材料中未明确提及艺术学领域或艺术理论、艺术设计、美术与书法、戏剧与影视、音乐与舞蹈、戏曲与曲艺等议题。
- 研究方法
- 论文采用基准测试与系统评估路径。数据构造先收集最新新闻，用提示让 ChatGPT 生成 event、question、answer，再人工检查答案并过滤难以检索数据；随后用 Google API 检索 10 个网页并抽取 snippets，将网页正文切为最长 300 tokens 的 chunk，用 dense retrieval model（中文 m3e-base、英文 all-mpnet-base-v2）选 top-30 chunks 作为外部文档，区分 positive 与 negative。四个 testbed 分别通过按噪声比例采样 negative documents、全 negative documents、扩展或重写问题以要求多文档答案、以及基于模型内部知识生成已知 QA 后人工修改文档制造事实错误来构造。规模上，RGB 共 600 个 base questions，信息整合与反事实鲁棒性各额外 200 题，英中各半。评估指标包括 accuracy 的 exact matching 测噪声鲁棒性和信息整合，rejection rate 测否定拒答，error detection rate 与 error correction rate 测反事实鲁棒性；因模型可能不遵循指令，还用 ChatGPT 对拒答和错误检测做额外评判。实验在 6 个模型上按 0、0.2、0.4、0.6、0.8 噪声比进行。
- 学术贡献
- 论文提出面向 RAG 的四项能力评估框架，并创建英文和中文的 RGB，材料称其为首个评估这四项 RAG 能力的 benchmark。它贡献于大语言模型评估与 RAG 评测子领域，尤其是幻觉缓解、外部检索信息利用和检索文档可靠性议题。通过 RGB 对 ChatGPT、ChatGLM-6B、ChatGLM2-6B、Vicuna-7B-v1.3、Qwen-7B-Chat、BELLE-7B-2M 的评估，论文给出噪声鲁棒性在不同噪声比下的准确率表，并归纳否定拒答、信息整合和虚假信息处理上的短板。作者还分析大语言模型在 RGB 中的响应，指出当前不足并提出改进方向。材料中未明确提及该工作对艺术学各子领域的贡献。
- 存在局限
- 评估仅覆盖 6 个代表性大语言模型，材料未明确说明模型参数规模分布、抽样依据，也未报告多次运行方差、置信区间或统计显著性，因此模型间差异的稳定性不明。数据以最新新闻构造事实型问答，材料未明确说明其是否覆盖艺术、人文、专业实践等非新闻领域，样本领域代表性有限。反事实鲁棒性只评估经指令警告检索信息潜在风险的情形，材料明确承认未覆盖无警告或其他风险提示场景。数据生成依赖 ChatGPT 生成 QA 和已知知识，虽经人工检查，但材料未明确标注者数量、一致性、过滤标准与人工修改规模，可能引入生成模型偏差。评价指标以 exact matching 和特定输出字符串为主，材料未明确处理语义等价答案、部分正确与多答案覆盖；拒答与错误检测还用 ChatGPT 额外评判，材料未明确该评判的可靠性。材料中未明确提及与艺术学领域的关联。
- 进一步研究方向
- 可在固定同一检索器与文档集前提下，将 RGB 扩展到更多大语言模型，按中英文、模型规模、架构和训练方式分层，重复运行并报告方差与显著性，以区分检索器噪声与模型能力瓶颈。针对否定拒答，可在全 negative testbed 上比较校准拒答阈值、拒答分类器与提示模板，联合报告 rejection rate 与误拒率，验证能否在不牺牲正常回答准确率的情况下提升拒答。针对信息整合，可构造多跳、多文档证据链问题，要求模型输出证据句与答案，并用 exact match 加人工语义评判比较链式推理与单轮生成。针对反事实鲁棒性，可设置无警告、粗粒度警告、细粒度警告和来源可信度标注等条件，测量错误检测率、错误纠正率及内部知识优先策略的变化。还可对表 1 的中英文噪声鲁棒性数据做语言分层分析，检验噪声比升高时中英文性能下降斜率是否一致；材料中未明确提及艺术学场景，若要将 RGB 迁移至艺术学，需要另建艺术领域问题、检索文档与专家标注，而不能直接沿用现有新闻基准。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling