基于潜流扩散模型的条件性图像转视频生成
Conditional Image-to-Video Generation with Latent Flow Diffusion Models
Haomiao Ni, Changhao Shi, Kai Li, Xiaolei Huang, Martin Renqiang Min
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2023-06-01
摘要
条件性图像转视频（cI2V）生成旨在以一张图像（如人脸）和某个条件（如“微笑”这类动作类别标签）为输入，合成一段合理的新视频。该任务的核心难点在于同时生成与给定图像和条件相匹配的逼真空间外观与时间动态。本文提出一种基于新型潜流扩散模型（LFDM）的cI2V生成方法：该模型根据给定条件在潜空间中合成光流序列，进而对给定图像进行形变处理。与以往的直接合成类方法相比，所提出的LFDM能够充分利用给定图像的空间内容，依据生成的时间连贯光流在潜空间对其进行形变，从而更出色地合成空间细节与时间运动。LFDM的训练分为两个独立阶段：（1）无监督学习阶段，训练用于空间内容生成的潜流自编码器，其中包含用于估算视频帧对之间潜流的预测器；（2）条件学习阶段，训练基于3D U-Net的扩散模型（DM），用于生成时间维度的潜流。与以往在像素空间或潜特征空间运作、将空间信息与时间信息耦合的扩散模型不同，LFDM中的扩散模型仅需学习用于运动生成的低维潜流空间，因此计算效率更高。我们在多个数据集上开展了全面实验，结果表明LFDM的性能始终优于现有方法。此外，实验还证实仅需微调图像解码器，LFDM就能轻松适配新领域。相关代码已开源，地址为https://github.com/nihaomiao/CVPR23_LFDM。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 该文研究条件图像到视频生成（cI2V），给定单张图像 x0 与动作类别标签等条件 y，合成从 x0 起始并满足 y 的视频帧序列。其核心判断是 cI2V 的关键难题在于同时生成逼真的空间外观与时间动态。作者提出潜在流扩散模型（LFDM），在潜在空间合成与条件对应、时间连贯的光流序列及遮挡图序列，用其 warp 给定图像而非直接逐帧合成。该路线相比直接合成方法能更充分利用原图空间内容，保持主体外观、运动连续性和对未见图像的泛化。训练被拆为两阶段：无监督训练潜在流自编码器（LFAE），再条件训练基于 3D-UNet 的扩散模型（DM）生成潜在流。DM 只学习低维潜在流空间，不学习像素空间或耦合时空潜特征空间，因此材料称其计算更高效；艺术创作、娱乐和数据增强被列为潜在应用但未展开。
- 研究方法
- 阶段一 LFAE 从同一视频随机抽取参考帧与驱动帧，编码器 Φ 将参考帧编码为潜在图 z，流预测器 F 估计从驱动帧到参考帧的反向潜在流 f 与遮挡图 m，F 采用 MRAA 并加入等变损失。参考帧潜在图经 f warp 后与 m 逐元素相乘，解码器 Ω 重建驱动帧，训练使用基于预训练 VGG 的感知损失，无需人工标注。阶段二用训练好的 Φ 和 F 从起始帧 x0 到真实视频各帧提取潜在流序列 fK1 与遮挡序列 mK1，沿通道拼接为 s0，按其 DDPM 前向过程加 3D 高斯噪声。条件 3D-UNet 去噪模型 εθ 以 x0 的潜在图 z0 和 BERT 编码的类别条件 e 为输入，预测加入的噪声，目标为均方误差。推理时先由 DM 反向采样得潜在流与遮挡图，再逐帧 warp z0 并解码，且始终 warp 原图以避免伪影累积，推理不使用流预测器 F。实验在 MUG、MHAD、NATOPS 上进行，统一缩放至 128×128，MHAD/NATOPS 用深度图裁剪背景，训练视频随机采 40 帧排序；评价用 FVD、cFVD、sFVD，生成 10,000 个视频并与 ImaGINator、VDM、LDM64/128 对比。
- 学术贡献
- 方法创新层面，该文提出 LFDM，并声称首次将扩散模型用于生成潜在光流以完成条件图像到视频任务。训练策略层面，两阶段设计将空间内容生成与时间动态生成解耦，LFAE 以无监督方式联合学习编码、流预测、遮挡估计与解码。表示层面，DM 仅建模低维潜在流空间而非像素空间或耦合时空潜特征空间，为条件视频生成提供更省算力的运动建模路径。实验层面，在面部表情、人体动作和手势三类视频数据上报告 FVD/cFVD/sFVD，LFDM 在 64 与 128 分辨率下均优于所列基线，对该子领域的条件视频合成评测有直接价值。领域拓展层面，材料展示仅微调图像解码器即可适配新域，对跨域人脸动画等应用有方法启示；艺术创作被提及为潜在应用，但材料未给出艺术场景的具体实验。
- 存在局限
- 条件类型仅考虑类别标签 y，材料未涉及文本描述、音频、时序控制信号或细粒度动作参数，条件控制维度较窄。条件引导在采样中固定 g=1 而非常用 g>1，作者解释为速度考虑，材料未报告不同引导强度对 cFVD/sFVD 与条件贴合度的影响。实验数据限于 MUG 面部表情、MHAD 人体动作和 NATOPS 手势，分辨率统一为 128×128，MHAD/NATOPS 还借助深度图裁剪背景，样本代表性未覆盖复杂自然场景、多物体交互或长视频。多数视频不超过 80 帧，训练阶段随机采样 40 帧排序，材料未验证更长时序、更高分辨率或任意长度生成中的误差累积。评价依赖 I3D Kinetics-400 特征的 FVD/cFVD/sFVD，未提供人类主观评价、审美评价或艺术创作场景验证，材料中未明确提及用户研究。新域适配仅说明微调图像解码器并展示人脸图像动画，材料未给出微调数据量、跨域定量指标、条件保持程度，也未明确报告遮挡图、BERT 与 one-hot、两阶段解耦等模块的消融结果。
- 进一步研究方向
- 针对条件仅限类别标签的问题，可构建同一图像对应多类或连续属性（如表情强度、动作幅度）的视频数据集，将条件嵌入从离散类别改为连续向量，比较 cFVD/sFVD 与条件控制精度。针对跨域适配，可固定原域训练的 DM，仅用 1、5、10、100 个新域视频分别微调图像解码器，报告 FVD/cFVD/sFVD 与条件保持度，以量化空间内容与运动动态的解耦程度。针对时长与分辨率局限，可将训练片段从 40 帧扩展至更长序列并尝试 256×256 或更高分辨率，采用分段生成并拼接潜在流序列，检验误差累积与计算成本。针对遮挡处理，可构造受控遮挡比例与运动幅度数据集，比较有无遮挡图 m、连续 m 与二值 m、是否使用等变损失等设置，评估生成帧在遮挡区域的 FVD 或重建误差。针对条件引导，可系统测试 g>1、不同采样步数与动态阈值百分位，记录 cFVD/sFVD 和采样时间，验证条件贴合与计算效率的权衡。针对艺术创作应用，可选取舞蹈、面部表情或手势视频，让艺术家与普通观众对生成结果进行主观评分，并与 FVD/cFVD 等客观指标对照，检验材料所列艺术创作、娱乐应用的可行性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis