Ragas：检索增强生成的自动化评估
Ragas: Automated Evaluation of Retrieval Augmented Generation
Es, Shahul, Jithin James, Luis Espinosa-Anke, Steven Schockaert
arXiv (Cornell University) · 2023-09-26
开放获取大模型与语言检索增强与智能体被引 79影响因子 ≈0.2
摘要
我们提出了Ragas（检索增强生成评估），这是一个无需参考文本即可对检索增强生成（RAG）流程进行评估的框架。RAG系统由检索模块和基于大语言模型的生成模块构成，能够从参考文本数据库中为模型提供相关知识，从而充当用户与文本数据库之间的自然语言中介，降低模型产生幻觉的风险。然而，评估RAG架构颇具挑战性，因为需要考虑多个维度：检索系统识别相关且聚焦的上下文段落的能力、大语言模型忠实利用这些段落的能力，以及生成内容本身的质量。借助Ragas，我们提出了一套可用于评估这些不同维度的指标，且无需依赖人工标注的基准数据。我们认为，这一框架能够显著加快RAG架构的评估周期，鉴于大语言模型应用的快速普及，这一点尤为重要。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将RAG系统拆分为检索模块与基于LLM的生成模块，指出其通过参考文本库为大模型提供外部知识、充当用户与文本数据库之间的自然语言层并降低幻觉风险。作者认为RAG评估不能仅依赖困惑度或短抽取式问答，因为这类评估未必预测下游表现且封闭模型不提供概率。论文提出Ragas框架，以无参考、无需人工标注的方式评估三个维度：忠实性（答案是否可由检索上下文推出）、答案相关性（答案是否回应原问题）、上下文相关性（检索上下文是否聚焦且少冗余）。其核心论断是可用LLM提示与嵌入相似度构造这些维度的代理指标，从而加快RAG架构的评估循环。
- 研究方法
- 在忠实性上，先用gpt-3.5-turbo-16k从答案中抽取陈述，再逐条让LLM依据上下文判定是否可推出，以支持陈述数占陈述总数的比例计分。答案相关性则让LLM根据答案生成n个潜在问题，用text-embedding-ada-002取得嵌入并计算其与原问题的余弦相似度均值。上下文相关性由LLM从上下文中抽取回答所必需句子，以抽取句数占上下文总句数的比例计分。为验证，作者构建WikiEval：选取50个2022年后有近期编辑的维基百科页面，用ChatGPT依引言段生成问题并生成答案，两名英语流利标注者对忠实性、答案相关性、上下文相关性做成对比较，忠实性与上下文相关性一致率约95%，答案相关性约90%，分歧讨论解决。实验将Ragas与GPT Score（0—10打分）和GPT Ranking（成对排序）在WikiEval上比较，报告与人工判断的成对一致准确率。
- 学术贡献
- 理论层面，论文明确将RAG评估分解为忠实性、答案相关性与上下文相关性三个可操作维度，并给出无参考答案条件下的度量定义。方法层面，它把LLM的陈述抽取与逐条验证、由答案反生成问题并计算嵌入相似度、上下文关键句抽取等步骤组合成可自动运行的评估流程，区别于直接让LLM打分的GPT Score和直接排序的GPT Ranking。材料层面，作者发布WikiEval数据集，包含50个维基百科页面上的问题—上下文—答案三元组及三维度人工成对判断，为RAG评估指标与人类判断的一致性检验提供可直接使用的基准。领域拓展层面，Ragas提供与llama-index和Langchain的集成，面向RAG开发者工作流，服务于检索增强生成系统的快速评估与调参场景。
- 存在局限
- 方法设计上，全部提示均在gpt-3.5-turbo-16k上评估，忠实性、答案相关性与上下文相关性指标均依赖该LLM及text-embedding-ada-002嵌入，材料未报告更换评估模型后的稳定性。WikiEval仅含50个2022年后有近期编辑的维基百科页面，问题与候选答案由ChatGPT生成，样本规模和来源代表性有限，材料未报告跨语言、跨领域或非维基文本上的结果。实验采用成对比较准确率，未给出指标分数与人类绝对评分之间的校准关系，也未报告除准确率外的相关性或误差分析。上下文相关性被作者称为最难评估的维度，ChatGPT在较长上下文中抽取关键句常出错，其0.70的一致率低于忠实性的0.95。答案相关性一致率为0.78，作者归因于候选答案差异常很细微；人工标注虽有约95%和90%的一致率，但分歧通过讨论解决，材料未报告标注者间一致性统计量。
- 进一步研究方向
- 可扩展WikiEval的页面数量与领域覆盖，并加入人工撰写而非ChatGPT生成的问题与答案，在同一标注协议下检验Ragas三维指标在跨领域样本上的成对一致率。可固定WikiEval问题—上下文—答案三元组，替换不同LLM作为评估器与不同嵌入模型，比较忠实性、答案相关性和上下文相关性分数的波动，以验证指标对评估模型的敏感性。针对上下文相关性，可设计句子级相关性标注子集，比较关键句抽取比例与人工句子级判断的一致性，并单独考察长上下文条件下抽取失败的模式。还可在同一RAG流程中改变检索器、语料与提示词配置，观察Ragas指标变化是否与人工成对偏好同向，从而检验其用于RAG调参时的判别力。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling