大型语言模型编码临床知识
Large language models encode clinical knowledge
Karan Singhal, Shekoofeh Azizi, Tao Tu, S. Sara Mahdavi, Jason Wei, Hyung Won Chung, Nathan Scales, Ajay Kumar Tanwani, Heather J. Cole-Lewis, Stephen Pfohl, Perry W. Payne, Martin G. Seneviratne, Paul R Gamble, Christopher J. Kelly, Abubakr Babiker, Nathanael Schärli A, Aakanksha Chowdhery, Philip Mansfield, Dina Demner‐Fushman, Blaise Agüera y Arcas
Nature · 2023-07-12
摘要
大型语言模型（LLMs）虽展现出令人瞩目的能力，但其在临床应用中的门槛极高。以往评估模型临床知识水平的方法通常依赖基于有限基准测试的自动化评价。为克服这些局限，本研究提出了MultiMedQA基准测试集，该集合并了涵盖专业医学、科研及大众查询需求的六个现有医学问答数据集，以及新构建的在线搜索医学问题数据集HealthSearchQA。我们还提出了针对模型回答的多维度人工评估框架，评估指标包括事实准确性、理解力、推理能力、潜在危害及偏差等。此外，我们在MultiMedQA上对路径语言模型1（PaLM，参数规模达5400亿的LLM）及其经过指令微调的变体Flan-PaLM 2进行了评估。通过综合运用多种提示策略，Flan-PaLM在MultiMedQA的所有选择题数据集（MedQA 3、MedMCQA 4、PubMedQA 5以及衡量大规模多任务语言理解能力的临床主题测试MMLU 6）上均取得了最优准确率，其中在模拟美国医师资格考试题目的MedQA测试中准确率高达67.6%，较此前的最优水平高出17%以上。然而人工评估结果显示出模型存在的明显短板。为解决这一问题，我们提出了指令提示微调技术，这是一种仅需少量示例即可让LLM适配新领域的参数高效方法。由此得到的模型Med-PaLM表现令人鼓舞，但仍不及临床医生水平。研究证实，模型规模扩大及指令提示微调能够提升其理解力、知识回忆能力与推理能力，这显示出LLM在医学领域潜在的应用价值。本次人工评估揭示了当前模型的局限性，进一步凸显了构建用于临床应用的安全、实用型LLM时，完善评估框架与开发相关技术的重要性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：大型语言模型（LLM）能够编码临床知识，但临床应用的合格线很高，仅凭有限基准上的自动化评估无法刻画模型在真实医学问答中的能力。作者以医学问答为切入口，指出高质量作答需要医学语境理解、医学知识召回与专家信息推理三种能力，而既有基准多局限于分类准确率或BLEU等自动生成指标。为此论文提出MultiMedQA，将医学考试、医学研究与消费者提问三类问题源整合为七数据集基准，并新增HealthSearchQA（3375条常被搜索的消费者健康问题）。在模型侧，5400亿参数的PaLM及其指令微调变体Flan-PaLM通过组合提示策略在MedQA（USMLE）、MedMCQA、PubMedQA与MMLU临床主题上取得最优准确率，MedQA达67.6%，较此前最优提升逾17%。但人工评估揭示Flan-PaLM在事实性、潜在危害与偏见等轴向上的关键缺口，作者据此提出指令提示调优，得到Med-PaLM：92.6%的回答被临床医生判定与科学共识一致、5.8%被判定可能导致有害后果，表现令人鼓舞但仍逊于临床医生。作者据此主张，理解、知识召回与医学推理随模型规模与指令提示调优而改善，提示LLM在医学中的潜在用途，同时强调评估框架与方法开发对构建安全、有用的临床LLM同等重要。
- 研究方法
- 研究采取基准构建与模型评测并行的设计。基准层面，作者汇编MultiMedQA：MedQA（USMLE风格四/五选一，开发11450/测试1273）、MedMCQA（印度医学入学考试四选一，187K/6.1K）、PubMedQA（以PubMed摘要为上下文做是/否/可能判断，500/500，闭域）、MMLU的解剖学、临床知识、大学医学、医学遗传学、专业医学与大学生物学六个子任务、LiveQA TREC-2017（634/104，长答案）、MedicationQA（674条消费者用药长答问题），以及自建的HealthSearchQA（3375条，以种子疾病及其相关症状策展），各数据集在格式、所测能力、开域/闭域与问题来源上相互区分。模型层面，作者在PaLM（540B）与Flan-PaLM上组合使用少样本提示、思维链（CoT）与自一致性提示，并引入指令提示调优这一数据与参数高效的对齐技术，用少量示例将模型适配到医学域，得到Med-PaLM。评估层面，除多项选择准确率等自动指标外，作者设计并试点由临床医生与普通用户执行的评分框架，按与科学与临床共识的一致性、引发危害的可能性与程度、阅读理解、临床知识召回、以有效推理操纵知识、回答完整性、偏见可能性、相关性与有用性等轴打分。作者还针对基准中部分问题另请合格临床医生生成标准化回答作为对照，并明确说明MedMCQA、PubMedQA、LiveQA、MedicationQA原有的参考长答案因来源不一致（含自动化工具或图书管理员等非临床人员）而未用作ground truth。
- 学术贡献
- 在材料发掘与基准建设层面，论文贡献了HealthSearchQA这一由种子疾病与相关症状策展的3375条消费者健康查询数据集，并将其与六个既有公开数据集整合为MultiMedQA，使医学问答评测同时覆盖医学考试、医学文献理解与消费者信息需求三类来源，并在格式、能力、开闭域等维度上形成可比结构。在评估方法层面，论文提出并试点多轴人工评估框架，把与科学共识的一致性、潜在危害、偏见等纳入评分，替代仅依赖分类准确率或BLEU的路径，并以临床医生生成的标准化回答作为对照基线。在模型与方法层面，论文提出指令提示调优这一数据与参数高效的对齐技术，据此构建Med-PaLM，将域适应研究推进到安全敏感的生物医学场景。在实证层面，论文报告Flan-PaLM在MedQA（67.6%）、MedMCQA（57.6%）、PubMedQA（79.0%）与MMLU临床主题上达到当时最优，并显示理解、知识召回与医学推理随模型规模与指令提示调优而改善，这些结果对医学问答基准设计与LLM临床安全性评估两个子议题有直接价值。
- 存在局限
- 论文自陈MultiMedQA及其覆盖的医学知识在数量与质量上均有限，只能部分覆盖医学知识空间。作者也指出既有数据集的参考长答案来源不一致（含自动化工具或图书管理员等非临床人员），因而弃用其作为ground truth，这使长答质量在该基准上缺少可靠的自动评测参照。人工评估在文中被称为pilot（试点），但材料中未明确提及参与评分的临床医生与普通用户人数、评分者间一致性或抽样规模，其统计稳健性无法判断。作者明确表示Med-PaLM仍不及临床医生，且公平性、公正性与偏见维度的评估尚不充分，而这三者正是安全关键场景的核心指标。此外，MultiMedQA全部数据集均为英文，材料中未提及任何跨语言或多语种样本，评测结论的语言适用边界因此被限定。
- 进一步研究方向
- 其一，将人工评估扩展到公平性、公正性与偏见维度，扩大临床医生与普通用户评分者规模并报告评分者间一致性，检验Med-PaLM在不同人群与不同提问表述下的一致性表现。其二，构建非英语医学问答数据集并入MultiMedQA，验证指令提示调优在低资源语言与跨文化临床语境下的迁移效果。其三，针对长答评测缺少可靠ground truth的问题，按统一规范系统性采集临床医生回答建立可复用长答参照集，并检验BLEU类自动指标与人工多轴评分之间的相关程度。其四，设计对照实验，在示例数量与训练预算相同条件下比较指令提示调优与其他域对齐策略的参数效率与安全性收益，验证参数高效对齐能否在降低有害回答比例的同时保持知识召回水平。其五，材料仅提及作者在第6节列出局限、未来方向与缓解策略，所提供节选中未给出该节的具体内容，材料中未明确提及这些方向的具体设计。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Artificial Intelligence in Healthcare and Education