RAGAs：检索增强生成的自动化评估
RAGAs: Automated Evaluation of Retrieval Augmented Generation
Shahul Es, Jithin James, Luis Espinosa-Anke, Steven Schockaert
Conference of the European Chapter of the Association for Computational Linguistics · 2024-01-01
开放获取检索增强与智能体被引 651被引前 25%影响因子 ≈2.4
摘要
沙赫尔·埃斯（Shahul Es）、吉辛·詹姆斯（Jithin James）、路易斯·埃斯皮诺萨·安克（Luis Espinosa Anke）、史蒂文·肖卡特（Steven Schockaert）。《欧洲计算语言学会第18届年会论文集：系统演示篇》。2024年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文针对检索增强生成（RAG）流水线的评测难题，指出RAG由检索模块与基于大语言模型的生成模块组成，其整体表现受检索模型、语料、语言模型与提示构造等多重因素牵制，因此必须分维度评估。作者提出RAGAs框架，主张在缺乏人工参考答案的自洽（reference-free）条件下，用三个指标刻画系统质量：忠实性指答案中的论断应能从检索上下文推出，从而抑制幻觉并使上下文成为答案依据；答案相关性指答案应正面回应所提问题，并对不完整回答与冗余信息扣分；上下文相关性指检索片段应聚焦，尽量少含无关内容，以控制长上下文成本并规避模型对上下文中段信息利用不足的问题。文章据此论证，以困惑度衡量语言建模、或在短抽取式问答数据上评测的传统做法对下游表现预测力有限，且依赖封闭模型无法获取的token概率。其核心实证论断是：RAGAs判定与人工判断的一致率明显高于直接让ChatGPT打分的GPT Score与让ChatGPT排序的GPT Ranking两类基线，忠实性最高（0.95），答案相关性次之（0.78），上下文相关性最低（0.70）。
- 研究方法
- 采用基于提示的大语言模型自动评测，全部提示均由gpt-3.5-turbo-16k执行。忠实性先把答案逐句拆解为陈述集合S(as(q))，再用验证函数v(si,c(q))逐条判定其能否由上下文推出，得分F=|V|/|S|；答案相关性由模型针对答案反向生成n个候选问题，经text-embedding-ada-002取嵌入后与原问题计算余弦相似度并取均值；上下文相关性由模型从c(q)中抽取回答所必需的句子子集，以抽出句数占总句数的比例计分。为验证指标，作者自建WikiEval：选取50个2022年以后、优先近期有编辑的维基百科页面，用ChatGPT依据导言段生成中等难度问题并据同一段落作答，两名英语流利的标注者对三个维度独立标注（忠实性与上下文相关性一致率约95%，答案相关性约90%，分歧经讨论消解）。数据构造采用成对比较设计：忠实性对比“有上下文”与“无上下文”两个答案，答案相关性用“不完整作答”提示生成低分候选，上下文相关性则通过爬取反向链接句或由ChatGPT补写，掺入相关但非必要的句子。评测以模型偏好与人工偏好的一致率（accuracy）报告，并与0—10打分基线（并列随机打破）和排序基线对照。
- 学术贡献
- 属方法创新与材料发掘的双重贡献。在方法层面，提出一套完全自洽、无需参考答案的提示式度量与可复现判定流程，要求结构化JSON输出，并显示JSON格式下两次运行得分的一致性明显高于无格式约束的情形，由此把RAG评测从依赖困惑度或短抽取式问答推进到对忠实性、答案相关性、上下文相关性的分维度刻画。在材料层面，构建并公开了带三维人工判断、以成对比较形式组织的WikiEval数据集（50个维基百科页面）。在工程与领域拓展层面，提供Python API并与llama-index、Langchain集成，使开发者可将评测嵌入既有工作流；这些工作对RAG幻觉检测与生成文本自动评估两个子议题具有直接应用价值。
- 存在局限
- 其一，评测器完全依赖大语言模型，全部实验仅用gpt-3.5-turbo-16k，未检验更换评测模型后指标是否稳定，作者亦承认依赖LLM带有已知风险。其二，WikiEval规模仅50个英文维基百科页面，问题由ChatGPT依据导言段生成，语料与问题来源单一，对文中强调需要事实一致性的法律等时效性领域缺乏代表性检验。其三，上下文相关性的测量链条较薄弱：作者观察到ChatGPT在长上下文中抽取关键句困难，该项人工一致率最低（0.70）；答案相关性0.78亦受两个候选答案差异过于细微的影响。其四，标注者仅两人，报告的是原始一致率而未见标注者间信度统计量；基线打分的并列被随机打破，可能影响对照的公平性。
- 进一步研究方向
- 可将评测器由gpt-3.5-turbo-16k替换为若干开源模型，在WikiEval同一成对样本上重跑三项指标，检验指标与人工判断的一致率对评测模型规模与家族的敏感性，这一方向正对应作者提出的优先使用开源模型的诉求。可把WikiEval的构造程序（依导言段生成问题、掺入反向链接句、以不完整作答构造低相关候选）迁移到法律、政务等时效性强、事实一致性要求高的语料，构建平行数据集以检验指标的跨领域迁移。针对上下文相关性这一最弱环节，可设计分段抽取或先检索后重排的提示策略，并按上下文长度分层报告一致率，检验性能下降是否随长度单调加剧。还可在固定的检索器与生成器组合上系统改变检索模型、语料与提示构造，观察三项指标能否稳定反映下游问答质量，从而验证其作为调参代理的有效性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling