Endora：将视频生成模型应用于内窥镜模拟
Endora: Video Generation Models as Endoscopy Simulators
Chenxin Li, Hengyu Liu, Yifan Liu, Brandon Y. Feng, Li, Wuyang, Xinyu Liu, Zhen Chen, Jing Shao, Yixuan Yuan
arXiv (Cornell University) · 2024-03-17
摘要
生成式模型有望彻底革新医学教育、机器人辅助手术以及机器学习的数据增强领域。尽管在生成二维医学图像方面已取得进展，但复杂的临床视频生成领域仍尚未得到充分开发。本文提出一种名为Endora的创新方法，用于生成模拟临床内窥镜场景的医学视频。我们设计了一种全新的生成式模型，该模型将精心构建的时空视频变换器与先进的二维视觉基础模型先验相结合，能够在视频生成过程中精确建模时空动态变化。我们还率先构建了首个基于视频生成模型的内窥镜模拟公开基准测试集，并据此对现有前沿方法进行了适应性调整。大量测试结果表明，Endora在生成内窥镜视频方面展现出卓越的视觉质量，性能优于现有前沿方法。此外，我们还探讨了这一内窥镜模拟器如何助力下游视频分析任务，甚至能够生成具有多视角一致性的三维医学场景。简而言之，Endora在生成式人工智能应用于临床内窥镜研究方面取得了重要突破，为医学内容生成的进一步发展奠定了坚实基础。更多详情可访问项目页面：https://endora-medvidgen.github.io/。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对临床内镜视频生成这一尚未充分开拓的领域，提出 Endora，用生成模型模拟临床内镜场景。其核心论点是：将精心设计的时空视频 Transformer 与先进 2D 视觉基础模型先验结合，显式建模视频生成中的时空动态，能够生成高视觉质量的内镜视频。论文还首创内镜模拟视频生成的公开基准，适配现有最先进方法，并在三个公开内镜视频数据集上超越 GAN 与扩散基线。生成视频可赋能下游视频分析任务，例如作为半监督疾病诊断的数据增强器，并可结合现成重建流程生成具有多视图一致性的 3D 医学场景。关键概念包括潜在扩散模型、时空 Transformer、DINO 先验、FVD/FID/IS 以及多视图一致性。
- 研究方法
- 技术路径为潜在扩散模型：用预训练 VAE 将视频编码到隐空间，在隐空间执行 DDPM 去噪并优化 ELBO。时空建模将视频 latent 转为 token，加入时空位置嵌入，交错堆叠 Spatial Transformer 与 Temporal Transformer 以提取长程空间与时间依赖。先验引导从 DINO 编码器提取第 2、5、8、11 层特征，用 3×3 卷积和步长 2 调整注意力图尺寸，并以 Pearson 相关最大化 Endora 空间 Transformer 注意力图与 DINO 注意力图的相关性，总损失为 ELBO + α(1−Corr)，α 经网格搜索设为 0.5。数据与样本包括 Colonoscopic 的 210 个视频、Kvasir-Capsule 的 117 个视频、CholecTriplet 的 50 个视频，均抽取 16 帧、128×128 片段，FVD 评估使用 2048 个 16 帧视频片段。训练采用 AdamW、学习率 1e-4、EMA、水平翻转，训练 150,000 epochs，使用 48GB RTX 6000 约 3 天，batch size 为 5；比较方法为 StyleGAN-V、MoStGAN-V、LVDM，消融依次加入 modified diffusion、spatiotemporal encoding、prior guidance；下游用 FixMatch 在 PolyDiag 上做半监督分类，并用 COLMAP 与 EndoGaussian 做 3D 重建。
- 学术贡献
- 在方法层面，论文提出将 2D 视觉基础模型的密集先验注入视频扩散 Transformer 的生成框架，用于内镜视频生成。在基准与材料层面，论文构建首个内镜视频生成公开基准，收集临床视频并适配通用视频生成模型。在性能验证层面，Endora 在 FVD、FID、IS 上优于 StyleGAN-V、MoStGAN-V、LVDM，消融实验显示 modified diffusion、spatiotemporal encoding、prior guidance 逐项提升指标。在领域拓展层面，论文展示生成视频作为时序数据增强器可提升 PolyDiag 半监督诊断 F1，并展示由生成视频可重建多视图一致的 3D 内镜场景。这些贡献对内镜视频模拟、医学生成 AI、手术机器人训练数据、下游视频分析与 3D 手术场景重建等子领域有直接价值。
- 存在局限
- 训练与评估限于三个公开内镜视频数据集，材料未说明其覆盖不同内镜设备、医院、患者群体与手术类型的程度。生成片段固定为 16 帧、128×128，限制了对长时程操作流程与高分辨率病灶细节的建模，材料未报告更长视频或更高分辨率实验。3D 多视图一致性评估是在生成视频内部留出帧上计算 PSNR 和深度 TV，未与真实 3D 场景或临床解剖标注对比，几何正确性证据链有限。下游诊断增益仅基于 PolyDiag 的 40 个标注视频与 200 个生成视频的 FixMatch 设置，未报告跨中心、跨数据集或不同标注预算下的稳定性。材料未明确提及内镜医师主观评价、临床可用性、隐私与伦理审查以及失败案例或伪影分析。
- 进一步研究方向
- 扩展时空 Transformer 到更长帧数和更高分辨率，系统改变帧数、分辨率与采样间隔，观察 FVD、FID、IS 与长程一致性的变化。在更多内镜与腹腔镜手术数据集上做跨中心验证，按设备、病变类型与操作阶段分层，测试生成视频作为数据增强时的 F1 与泛化能力。设计内镜医师参与的盲评或读者研究，比较 Endora、MoStGAN-V、LVDM 与真实视频在组织真实感、器械连续性和临床可接受度上的评分，并记录伪影类型。对 DINO 先验做细粒度消融，改变注入层（第 2、5、8、11 层）、α 值和相关损失形式，验证其对帧间连续性与细小纹理的因果影响。用真实多视图或带深度标注的内镜数据，比较由生成视频与真实视频重建的 3D 场景在 PSNR、depth TV 及解剖结构定位上的一致性，并检验多视图一致性是否随生成时长增加而退化。在半监督分割、器械识别与动作三元组识别等任务上固定真实标注预算，系统比较不同生成数据量与生成来源对性能的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis