大型语言模型与多模态大型语言模型在医学领域的综合综述
A comprehensive survey of large language models and multimodal large language models in medicine
Hanguang Xiao, Feizhong Zhou, Xingyue Liu, Tianqi Liu, Жипенг Ли, Xin Liu, Xiaoxuan Huang
Information Fusion · 2024-12-23
开放获取大模型与语言多模态与视觉语言被引 115被引前 10%影响因子 ≈13.1
摘要
大型语言模型与多模态大型语言模型在医学领域的综合综述
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是，大语言模型（LLMs）与多模态大语言模型（MLLMs）凭借理解、推理与生成能力，正在为人工智能融入医学带来变革性范式。文章以Transformer、GPT-3、Flamingo、Med-PaLM 2等为节点，梳理从监督学习、无监督预训练与微调、无监督预训练与提示、文本到多模态、高质量数据的范式转移。其具体对象包括医疗LLMs与MLLMs的架构类型（encoder-only、decoder-only、encoder-decoder，以及视觉编码器、LLM骨干和模态对齐模块）、构建与评估流程、五类临床应用场景。文章还指出医院自建医疗LLMs与MLLMs面临数据获取与专家标注成本、隐私、算力门槛、指令遵循与安全伦理评估、幻觉和知识更新不足等挑战。结论强调需弥合先进技术与临床实践之间的差距，推动下一代智能医疗系统演进。
- 研究方法
- 该文采用综述与文献综合的方法路径，而非原始实验、临床试验或数学建模。材料显示作者按范式演进、模型架构、数据集、训练与评估、临床应用、挑战及未来方向组织章节，并在第2至第4节侧重原理、第5至第7节侧重临床应用。文章通过表格对现有医疗LLM与MLLM进行分类，字段包括模型名称、基础模型、参数量、训练数据来源、构建方法、评估方法和时间。作者还比较了三类Transformer结构变体及医疗MLLM的常见视觉编码器、LLM骨干与模态对齐技术。材料中未明确提及系统检索数据库、检索式、纳入与排除标准、文献筛选流程或编码一致性检验。
- 学术贡献
- 该综述的贡献属于领域梳理、分类框架与技术路线整合层面。它把医疗LLM与MLLM从训练到评估的完整流程系统化，涵盖微调方法、评估策略和相关医学数据集，并给出选择数据集、微调方法与评估策略的指引。文章强调医学是多模态领域，指出既有相关综述多聚焦医疗LLM而缺乏对医疗MLLM的详细考察，也较少讨论数据集、模型架构和构建方法等技术细节。它汇总现有医疗模型的结构差异与关键组件，对医疗人工智能、临床决策支持、医学报告生成、心理健康服务等子领域有分类参考价值。文章还提出幻觉、知识陈旧、隐私安全、偏见毒性、边缘部署等挑战及潜在解决方案。
- 存在局限
- 作为综述，材料未显示作者开展原始实验、临床验证或定量元分析，因此对模型性能的比较主要依赖已有文献报告。材料未明确说明文献检索与筛选的系统性细节，可能影响覆盖完整性与可重复性。文章明确将encoder-only模型归为预训练语言模型并排除在后续讨论之外，且主要聚焦视觉-语言模态，可能遗漏其他模态或纯文本医疗LLM的部分进展。所提供材料为节选，未展示第4至第7节关于数据集、训练评估、应用、挑战与未来方向的完整论证，无法核验这些部分的具体证据链。对医院部署的经济成本、法规合规和临床工作流整合的讨论在材料中未明确展开。
- 进一步研究方向
- 可针对医疗MLLM建立可复现的系统综述协议，明确检索数据库、时间范围、纳入排除标准与编码方案，并对模型性能做分层比较。可构建统一基准，在相同临床任务如放射报告生成、视觉问答和诊断对话上，对比不同架构、微调策略和数据质量的影响。可开展前瞻性临床研究，评估医疗LLM与MLLM在真实医院工作流中的安全性、指令遵循、幻觉率、隐私保护和边缘部署可行性。可研究高质量医疗数据工程，包括多粒度标注、专家审核、去偏与毒性缓解，并量化数据质量与模型性能的关系。可探索医疗智能体在多模态临床决策、手术辅助和医学教育中的任务分解与工具调用机制，并以具体实验设计验证其效果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Artificial Intelligence in Healthcare and Education