医学领域检索增强生成的基准测试
Benchmarking Retrieval-Augmented Generation for Medicine
Guangzhi Xiong, Qiao Jin, Zhiyong Lu, Aidong Zhang
Findings of the Association for Computational Linguistics: ACL (Findings of ACL) · 2024-01-01
摘要
尽管大型语言模型在各类医学问答任务中已展现出顶尖性能，但仍存在幻觉问题和知识过时等缺陷。检索增强生成技术是一种颇具前景的解决方案，已被广泛应用。然而，检索增强生成系统包含多个可灵活配置的组件，针对不同医学应用场景的最优系统设置尚缺乏成熟规范。为系统评估此类系统，我们提出了医学信息检索增强生成评估基准——MIRAGE，这是首个涵盖来自五个医学问答数据集的7,663个问题的基准测试。借助本研究开发的MEDRAG工具包，我们利用MIRAGE对41种不同语料库、检索器与基础大型语言模型的组合开展了涉及超过1.8万亿提示词的大规模实验。总体而言，相较于思维链提示方法，MEDRAG可使六种不同大型语言模型的准确率提升高达18%，其中GPT-3.5和Mixtral的性能更是达到GPT-4水平。研究结果表明，多种医学语料库与检索器的组合能够取得最佳性能。此外，我们还发现了医学检索增强生成中的对数线性缩放特性以及“中间信息丢失”现象。我们相信，本研究的全面评估结果可为医学领域检索增强生成系统的落地应用提供实用指导。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对医学问答中大语言模型易产生幻觉与知识过时的问题，主张以检索增强生成（RAG）引入可信、更新的外部文献来提升答案准确性与透明度，但RAG包含语料、检索器和主干LLM等多个可调组件，医学场景缺乏最优配置经验。其核心论点是：MIRAGE基准与MEDRAG工具包能够系统比较医学RAG配置；在五个医学QA数据集7,663题上，MEDRAG相对思维链提示使六种LLM准确率提升1%至18%，并把GPT-3.5与Mixtral提升到GPT-4水平。语料维度上，不同任务偏好不同语料，PubMed对所有任务较稳健，多语料组合MedCorp更全面；检索器维度上，BM25与领域专用MedCPT表现较优，多检索器RRF融合可进一步提升。研究还报告医学RAG存在随检索片段数增加的近似对数线性缩放关系，以及正确答案片段位置引发的lost-in-the-middle效应。据此，论文提出面向医学RAG部署的配置建议，强调语料选择、检索器选择与融合、检索片段数量等关键环节。
- 研究方法
- 论文构建MIRAGE基准，整合MMLU-Med、MedQA-US、MedMCQA、PubMedQA*与BioASQ-Y/N五个医学QA数据集共7,663题，仅保留生物医学相关多选题，并移除PubMedQA的支撑上下文。评测采用零样本、多选评估、RAG与仅问题检索（QOR）四种设置，不提供少样本示例，检索阶段不输入答案选项。研究开发MEDRAG工具包，覆盖PubMed、StatPearls、Textbooks、Wikipedia、MedCorp五类语料，BM25、Contriever、SPECTER、MedCPT四种检索器，以及GPT-4、GPT-3.5、Mixtral、Llama2、MEDITRON、PMC-LLaMA六种LLM，默认检索32个片段并以RRF融合多检索器结果。实验覆盖41种语料、检索器与LLM组合，使用超过1.8万亿prompt tokens，以准确率及标准差为指标，并以无RAG的思维链提示为基线。论文还固定GPT-3.5、RRF-4与MedCorp配置，考察检索片段数从1到64的缩放曲线，并分析正确答案片段位置效应。
- 学术贡献
- 材料发掘与基准层面，论文提出首个系统比较医学RAG的MIRAGE基准，整合五个数据集7,663题，并同时采用零样本、多选、RAG与QOR设置，其中QOR被材料称为首次用于医学QA评估。方法工具层面，MEDRAG将五类语料、四种检索器与六种LLM组织为可复现实验管线，支持RRF多检索器融合，为医学RAG配置比较提供可操作平台。实证层面，论文给出语料的任务偏好、PubMed的稳健性、MedCorp组合优势、BM25与MedCPT较优以及检索融合增益等结论，对医学RAG的语料与检索器选择议题有直接价值。规律层面，论文报告对数线性缩放与lost-in-the-middle效应，对检索片段数量与位置配置议题形成具体发现。实践层面，论文基于大规模结果形成医学RAG部署建议，对医学QA系统实现与评估子领域具有配置指南价值。
- 存在局限
- 基准任务全部为多选题，评价指标仅为准确率及标准差，材料中未明确提及开放式生成、答案忠实度、幻觉率或临床安全性评估。样本由三个考试题数据集与两个文献题数据集构成，其中MedMCQA为4,183题，任务分布偏向考试型闭卷选择，可能影响对真实临床信息寻求的代表性。评测固定为零样本与仅问题检索，且默认32个片段、思维链提示与温度0，未覆盖少样本、带选项检索或多轮交互等情形。组件选择为代表性集合，仅含五类语料、四种检索器与六种LLM，材料中未明确说明更多检索器、更多LLM或非英语医学语料的覆盖情况；缩放分析也仅使用GPT-3.5、RRF-4与MedCorp的固定组合。结果中MEDRAG并非对所有任务均提升，考试题上有时低于思维链或监督微调，作者归因于有用片段难以检索，但未进一步拆解检索失败与生成失败各自贡献。
- 进一步研究方向
- 可将MIRAGE扩展为开放式医学问答与答案溯源任务，保留仅问题检索设置，并加入专家标注的忠实度、引用正确性与安全性指标，以检验RAG是否降低幻觉。针对考试题中RAG不总是优于思维链或监督微调的现象，可设计检索成功与失败分层实验，比较不同语料与检索器在难题上的召回及答案改判路径。可在GPT-3.5、RRF-4与MedCorp之外系统改变片段数量、片段顺序与噪声比例，验证对数线性缩放和lost-in-the-middle效应的边界条件与形成机制。可研究任务自适应路由，按考试题与文献题自动选择PubMed、Textbooks、StatPearls或MedCorp，并比较单检索器、RRF-2与RRF-4的成本效益。还可扩展更多医学语料、领域专用LLM与检索器，检验现有配置建议在更大组件空间中的可推广性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Topic Modeling