面向多元医疗应用的开放视觉-语言模型
An open vision-language model for diverse medical applications
Andrew Sellergren, Sahar Kazemzadeh, Fereshteh Mahvar, Atilla P. Kiraly, Madeleine Traverse, Timo Kohlberger, Chufan Gao, Ronnachai Jaroensri, Shawn Xu, Fayaz Jamil, Cian Hughes, Fereshteh Mahvar, Liron Yatziv, Liron Yatziv, Tiffany J. Chen, Bram Sterling, Sathaiah Baby, Susanna Maria Baby, Jeremy Lai, Samuel Schmidgall
Nature Medicine · 2026-10-01
摘要
人工智能在医疗应用中具有巨大的潜在影响力，但受数据多样性、可能任务的复杂谱系以及重要隐私需求的制约，其训练与部署面临挑战。能够实现面向多元下游任务的数据高效微调的高性能基础模型，可切实加速该领域的发展。我们推出MedGemma，这是一系列基于Gemma 3的医疗视觉-语言基础模型。MedGemma在图像、文本及多个医学影像领域展现出先进的医学理解与推理能力，性能超越同规模生成式模型，同时保留了Gemma基础模型的通用能力。针对分布外任务，与基础模型相比，MedGemma在医学图像问答任务上提升2.6-10%，在胸部X线发现分类任务上提升15.5-18.1%，在智能体评估任务上提升10.8%。我们的研究结果表明，针对医疗任务对MedGemma进行微调，比对基础Gemma 3模型进行微调更为有效，在训练数据有限的情况下尤为如此。我们还推出MedSigLIP，这是一种基于SigLIP进行医疗场景调优的视觉编码器。MedSigLIP为MedGemma的视觉理解能力提供支撑，作为编码器时，其性能与诸多专用医学图像编码器相当甚至更优。综合来看，MedGemma系列为医学图像与文本能力提供了坚实基础，有望加速医学研究与下游应用的开发。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文将问题域定位为医疗数据多样、任务谱系复杂且隐私约束强条件下，医学视觉语言基础模型的训练与部署难题，主张以开源、医学调优且可数据高效微调的基础模型加速下游应用开发。核心论点是MedGemma基于Gemma 3构建的4B多模态与27B文本模型，在图像与文本的医学理解推理上覆盖多影像域，并超过同规模生成模型，同时保留Gemma基座的通用能力。支撑性论断包括：在分布外任务上，医学图像问答提升2.6-10%、胸片发现分类提升15.5-18.1%、agentic评估提升10.8%；在有限训练数据下，微调MedGemma比微调Gemma 3基座更有效。论文另提出MedSigLIP，作为由SigLIP衍生的医学调优视觉编码器，既支撑MedGemma视觉理解，又作为独立编码器达到与多种专用医学图像编码器相当或更优的性能。整体上，作者将MedGemma集合表述为同时提供医学图像与文本能力的基础层，面向医学研究与下游应用开发。
- 研究方法
- 研究采用技术报告式的模型构建与基准评测路径：以Gemma 3 4B/27B为语言骨干、SigLIP-400M为视觉编码器，使用约3300万医学图文对（约63.5万多模态数据与3260万病理patch）增强视觉编码器，并将医学图像数据以10%权重混入解码器预训练、在Gemma 3检查点上继续训练约5个epoch。后训练沿用蒸馏与强化学习配方，文本侧加入医学数据蒸馏，多模态后训练全部通过强化学习完成，并以胸片报告生成及放射、皮肤、眼科视觉问答验证集选择检查点。评估样本覆盖文本问答（MedQA 1273、MedMCQA 4183、PubMedQA 500、MMLU Med 3685、MedXpertQA 2450等）、图像分类（MIMIC-CXR、CXR14、CheXpert及US-Derm MCQA、Path MCQA、EyePACS）、视觉问答（SLAKE、VQA-RAD）、胸片报告生成（MIMIC-CXR 306例人工评估与912例RadGraph评估）和AgentClinic 415例agentic任务，并辅以MMLU Pro、Global MMLU Lite、MMMU通用基准。指标包括accuracy、macro F1、tokenized F1、RadGraph F1与五点人工评分，医学基准使用temperature 0.0，外部模型按其默认解码参数并依据公开模型卡、许可与技术报告纳入。
- 学术贡献
- 在方法层面，论文提出并公开医学调优视觉编码器MedSigLIP，将SigLIP-400M以医学图文对增强并保持原训练数据2%权重混合，同时展示多模态后训练采用强化学习而非监督微调的路径。在材料层面，论文整合并扩展放射、病理、皮肤、眼科与医学文本训练数据，其中病理patch-text对约3250万、眼科增加184852张眼底图、皮肤科增加51049张图像，并构建覆盖分布外问答、分类、VQA、报告生成与agentic行为的评估组合。在领域拓展层面，模型集合将开源医学视觉语言基础模型的能力边界从单一影像分类推进到多影像域图文推理、胸片报告生成和模拟临床agentic任务。其对医学图像编码器替代、有限数据条件下的下游微调以及agentic临床评估等子议题具有直接参考价值。
- 存在局限
- 评估中的US-Derm MCQA、Path MCQA及部分皮肤科数据为内部私有数据，外部研究者难以复现相应分类结果与微调结论。胸片报告生成的人工评估仅由一名美国认证心胸放射科医生完成，且评审未对报告来源设盲，五点评分的偏好与一致性风险未被控制。部分外部模型指标直接取自既有文献而非在同一评测管线中重跑，提示词、解码参数与测试集版本差异会削弱跨模型比较的可比性。正文结论主要依赖4B多模态模型与27B文本模型，多模态27B的完整评估仍在进行，材料中未明确提及该变体的系统结果。训练数据排除PathVQA与MedVQA、未纳入3D体数据和基因组数据，限制了模态覆盖范围及与Med-Gemini在相应任务上的可比性。
- 进一步研究方向
- 可在相同数据划分下对MedSigLIP的448×448与896×896输入做控制消融，并在放射、病理、皮肤、眼科四域分别测量分类与检索迁移差异，以验证分辨率与位置嵌入下采样对医学细粒度判别的影响。可构建训练样本量梯度（如1%、10%、100%），比较MedGemma与Gemma 3基座微调的数据效率曲线，定位“有限数据下更有效”结论的边界条件与任务依赖。可将3D CT/MRI与基因组数据纳入预训练，并建立与2D影像、文本统一的评估协议，检验跨模态迁移与模态缺失场景下的性能变化。可对胸片报告生成开展多读者、盲法评估，并加入原始报告纠错标注，以区分模型错误与参考报告缺陷。可将AgentClinic扩展至多模态多轮临床模拟，报告诊断准确率、检查申请合理性与信息获取效率，检验agentic收益在视觉输入条件下的稳定性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications