Bora：生物医学通用视频生成模型
Bora: Biomedical Generalist Video Generation Model
Sun, Weixiang, Xiaocao You, Ruizhe Zheng, Zhengqing Yuan, Li, Xiang, Lifang He, Quanzheng Li, Lichao Sun
arXiv (Cornell University) · 2024-07-12
摘要
生成式模型有望彻底革新医学教育、机器人辅助手术以及医疗人工智能开发所需的数据增强工作。扩散模型如今已能根据文本提示生成逼真的图像，而近期的研究进展也证明了其生成多样化高质量视频的能力。不过，这类模型在生成精确的医疗程序影像及精细的解剖结构方面往往存在局限。本文提出的Bora是首个用于文本引导的生物医学视频生成的时空扩散概率模型。Bora基于Transformer架构，先在通用视频生成任务上完成预训练，随后利用新构建的涵盖多个生物医学领域的文本-视频配对数据，通过模型对齐与指令微调进行优化。据我们所知，这是首次尝试建立如此全面的标注型生物医学视频数据集。Bora能够在四个不同的生物医学领域生成符合医学专家标准且兼具一致性与多样性的高质量视频数据，该通用视频生成模型在改善医疗咨询与决策方面潜力巨大，尤其适用于资源匮乏的环境。此外，Bora还有望为沉浸式医学培训与手术规划铺平道路。针对内窥镜、超声、磁共振成像及细胞追踪等不同医学模态开展的大量实验表明，该模型在理解生物医学指令方面效果显著，且在各类主题上的表现均优于现有的先进生成式模型。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出Bora，首个面向文本引导生物医学视频生成的时空扩散概率模型，针对通用扩散模型难以准确生成医学流程与解剖结构的问题。其核心论断是：以Transformer架构、通用视频生成预训练为基础，通过模型对齐与指令微调，在新构建的生物医学文本-视频语料上训练，可生成符合医学专家标准且具备一致性与多样性的视频。研究覆盖内窥镜、超声、MRI、细胞追踪四个生物医学域，强调模型对生物医学指令的理解优于现有最先进生成模型。应用场景包括资源有限环境下的医疗咨询与决策、沉浸式医学训练和手术流程规划。实验以真实感率、生物医学理解（BmU-I/BmU-V/BmU-ave）和视频质量指标验证模型在理解医学指令与跨模态表现上的优势。
- 研究方法
- 构建首个生物医学文本-视频配对语料：从开放视频数据中选取内窥镜（Colonoscopy、Kvasir-Capsule、CholecTriplet）、超声（Echo-Dynamic、ULiver）、实时MRI（2drt）、细胞运动（Tryp、CMTC-v1、VISEM）等，统一分辨率至256×256，按帧间变化阈值采样长视频。用LLM进行字幕生成：先均匀抽帧输入LLM，再用agent注入数据集背景文档、论文或主页信息，生成结合背景的高质量描述，形成文本-视频对。模型架构含T5文本编码器（仅编码器）、VAE视频编码器（重参数化并乘0.18215）和Diffusion Transformer，含空间/时间注意力；以Open-Sora初始化权重。训练分两阶段：生物医学模态对齐阶段冻结时间注意力、简化字幕为“This is a modal video”、按模态数据量平衡抽帧；指令微调阶段解冻时间注意力并全参数更新，使用生物医学文本-视频对。实验用GPT-4生成各模态文本提示，对比Pika、PixVerse、Gen-2、ModelScope、Lavie；在单张80GB TESLA A100、4×Intel Xeon Platinum 8362上，生成用PyTorch 2.2.2/CUDA12.1，评估用PyTorch 1.13.1/CUDA12.1。评估指标包括Video-Llama判定真实感率，LLM描述后经BERT相似度算BmU-I/BmU-V，DINO算主体一致性、CLIP算背景一致性、AMT算运动平滑、RAFT算动态程度、MUSIQ算成像质量、ViCLIP算时间风格。
- 学术贡献
- 理论/模型层面：提出首个时空扩散概率生物医学通用视频生成模型Bora，把扩散Transformer、通用视频预训练和生物医学指令微调结合，推进文本到视频生成在临床场景的建模。数据层面：构建首个综合标注生物医学视频-文本语料，覆盖内窥镜、超声、实时MRI、细胞运动，用LLM与背景注入生成详细描述，填补该领域配对数据缺失。领域拓展：将视频生成模型从通用场景拓展到生物医学多模态，验证内窥镜、超声、MRI、细胞追踪上的指令跟随与视频质量。方法/评估层面：设计Realism Rate、BmU-I、BmU-V、BmU-ave及七项视频质量指标，给出生物医学指令跟随的自动评估流程。应用层面：提出面向资源有限环境医疗咨询决策、沉浸式医学训练和手术流程规划的潜在用途，并公开模型与代码链接。
- 存在局限
- 数据集自述因知识产权与隐私未列全，仅覆盖四类模态，样本来源有限，未说明是否纳入其他临床影像或手术类型，跨科室泛化未验证。字幕由LLM结合agent背景信息生成，材料未说明是否经临床专家逐条审核，存在描述与真实医学语义偏差的风险，可能影响指令微调质量；训练中模态对齐冻结时间注意力并将字幕改为“This is a modal video”，且按最小数据模态平衡样本、未使用全部数据，材料未给出消融验证这些设计的影响。评估指标有方法缺陷：Realism Rate对Video-Llama“不确定”回答记0.5，BmU用BERT嵌入相似度而作者也承认其不按实际语义比较；缺少临床医生盲评或下游任务验证。视频质量结果显示动态程度（0.46）、成像质量（0.41）、时间风格（0.22）偏低，而运动平滑与一致性较高，提示生成视频可能偏静态或细节不足；Sora对比并非在生物医学提示下进行，不能直接归因于领域适应优势。摘要提到提升医疗咨询、决策、医学训练和流程规划，但实验仅评估生成视频的真实感、指令跟随和视频质量，未测试这些临床或教育下游效果。从艺术学/美学维度看，材料中未明确提及艺术创作、审美评价或艺术理论关联，故本综述无法在该维度展开判断。
- 进一步研究方向
- 扩展语料至CT、X-ray、病理、眼科等更多模态与真实临床操作流程，采用临床专家逐条审核字幕，并公开数据划分与隐私合规流程，以检验跨模态泛化。开展临床医生盲评与下游任务实验：将Bora生成视频用于医学教育、术前规划或资源有限场景的医患沟通，测量诊断/操作决策或学习效果，与真实视频及通用模型对比。改进评估：用临床语义正确性、解剖结构准确性和操作步骤完整性指标替代单一BERT相似度，校准Video-Llama真实感判定，报告多模型多提示的统计显著性，并在完全相同的生物医学提示下与Sora等通用模型比较以分离领域微调贡献。针对动态程度与时间风格偏低，研究运动先验、长时序建模、物理/解剖约束或强化学习式奖励，验证其能否提升内窥镜操作、超声心动和细胞运动等大运动场景的生成质量。对模态对齐、时间注意力冻结、字幕简化、数据平衡策略做系统消融，验证各设计对指令跟随、主体一致性和跨模态干扰的影响。研究可控/交互生成：加入空间布局、器械轨迹、解剖标注或临床医生反馈，用于AR/VR沉浸式训练与手术流程规划，并评估实时性与安全性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis