GeoVideo：将几何正则化引入视频生成模型
GeoVideo: Introducing Geometric Regularization into Video Generation Model
Yunpeng Bai, Shaoheng Fang, Chaohui Yu, Fan Wang, Qixing Huang
neural information processing systems · 2025-01-01
开放获取生成式与扩散被引 3被引前 10%影响因子 ≈3.8
摘要
近期视频生成技术的进步使得利用扩散变换模型合成高质量且视觉逼真的视频片段成为可能。然而，现有大多数方法仅在二维像素空间运作，缺乏显式的三维结构建模机制，往往会导致几何形态随时间不一致、运动不合逻辑以及结构瑕疵等问题。本研究通过在潜在扩散模型中加入逐帧深度预测模块，将几何正则化损失引入视频生成过程。我们选择深度作为几何表征，原因在于深度预测技术已取得显著进展，且该表征能与基于图像的潜在编码器相兼容。为确保结构在时间上的连贯性，我们提出了一种多视角几何损失函数，用于在共享的三维坐标系统中对齐各帧的预测深度图。该方法弥合了外观生成与三维结构建模之间的鸿沟，从而提升了时空一致性、形状稳定性以及物理合理性。在多个数据集上的实验表明，相较于现有基准模型，该方法能产生更加稳定且几何一致性更高的结果。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对当前视频生成模型主要在二维像素或潜空间操作、依赖时序注意力而缺乏显式三维结构建模的问题，指出这类方法易产生时序几何不一致、运动不合理与结构伪影。作者提出GeoVideo，将几何正则化引入视频生成，通过增强潜扩散模型实现逐帧深度预测。其核心选择是以深度作为几何表示，依据是深度预测的进展及其与图像潜编码器的兼容性。为约束跨帧结构一致性，论文提出多视角几何损失，将各帧预测深度对齐到共享三维坐标系。该方法意在连接外观生成与三维结构建模，提升时空连贯性、形状一致性与物理合理性。实验表明，相较已有基线，该方法产生更稳定且几何一致的结果。
- 研究方法
- 方法以CogVideoX-5B这一基于DiT和3D VAE的潜扩散视频生成模型为基座，将RGB帧与深度帧编码到共享潜空间并进行联合去噪。模型额外训练轻量解码器Dd从深度潜变量解码深度图，并从生成特征zRGB经相机头Dc预测相机内外参、经运动概率头Dp预测动态像素概率。几何正则化先利用深度和相机位姿将各帧反投影并聚合成全局点云，经体素网格下采样和统计离群点去除后，再把全局点云重投影回各帧，与预测深度比较并形成Lgeo，容差δ设为0.05；动态像素只与相邻帧中相似概率的点对齐。训练采用两阶段微调：第一阶段RGB-D联合生成，深度损失权重λdepth(t)=min(1.0,0.1+αt)，α=0.0001；第二阶段加入λgeo=0.5的几何正则项。实验在DL3DV-10K静态场景和约20万条Pexels动态视频上训练，分别用544和1000条视频评估，训练配置为8张H20、学习率2e-5、20000步、768×1360分辨率、81帧，深度标签来自Video Depth Anything，动态视频相机位姿来自MegaSaM，视频描述来自CogVLM，Dp、Dc、Dd分别蒸馏自MegaSaM、VGGT和Video Depth Anything且微调时固定。评价指标包括基于VGGT的MVCS与重投影误差，以及FID、CLIPScore、NIQE、BRISQUE、FVD和VBench中的SC、BC、MS、SR、VISC；对照包括CogVideoX-5B、Director3D、LucidDreamer、SplatFlow，并设置去掉Lgeo和去掉MP的消融。
- 学术贡献
- 在方法层面，论文将逐帧深度预测引入潜扩散视频生成模型，使三维场景结构在外观生成过程中得到显式建模，属于视频生成与三维几何建模交叉处的方法创新。其提出的跨帧一致性损失把预测深度提升为全局三维点云，并通过多视角重投影对齐进行监督，构成一种可嵌入现有视频扩散框架的几何正则化机制。在评价层面，论文提出基于VGGT的MVCS与重投影误差，用于度量生成视频的多视角几何一致性。在材料与领域层面，论文在DL3DV-10K静态场景和自采约20万条动态视频上验证，将应用指向文本到视频、图像到视频以及文本到三维场景生成。其对视频扩散模型、三维场景生成和以视频生成进行世界建模的议题具有直接关联。
- 存在局限
- 几何监督依赖Video Depth Anything估计的深度、MegaSaM估计的动态相机位姿，以及分别蒸馏自MegaSaM、VGGT、Video Depth Anything并固定的Dp、Dc、Dd，材料未报告使用真实深度或真实相机位姿时的消融，监督信号误差如何影响生成结果尚未被分离。动态场景处理仅依赖运动概率图，将动态像素与相邻帧中相似概率的点对齐，未显式建模非刚性物体或动态三维结构，因此对复杂运动的几何一致性约束有限。基座模型仅使用CogVideoX-5B，材料未明确验证该方法迁移到其他DiT或3D VAE视频生成骨干时的表现。样本方面，静态训练限于DL3DV-10K，动态数据虽约20万条但评估仅544和1000条视频，材料未说明这些评估集在场景类型、运动幅度和相机轨迹上的覆盖与代表性。训练固定为768×1360分辨率和81帧，材料未报告长视频、变化分辨率或极端相机运动下的结果。评价中的MVCS与重投影误差使用VGGT预测深度和位姿，而相机头Dc又蒸馏自VGGT，指标与训练组件存在同源风险，可能高估几何一致性。
- 进一步研究方向
- 可在具有真值深度和相机位姿的合成或采集数据上重训GeoVideo，将Lgeo改为直接监督真值几何，并对比当前依赖估计标签的版本，以量化误差传播与正则化本身的贡献。针对动态场景，可把运动概率图扩展为逐物体或四维动态点云表示，设计动态多视角重投影损失，在含非刚性物体和复杂交互的视频上验证形状与运动一致性。可在CogVideoX-5B之外选择多种DiT与3D VAE视频生成骨干重复两阶段微调，比较不同深度编码器、相机头和深度解码器对几何一致性与视觉保真度的影响。可训练和评测更长帧数、不同宽高比与更快相机运动的视频，并将几何正则化与3D高斯泼溅等显式三维表示结合，从生成视频直接输出可重建的三维场景。还可将几何正则化后的视频生成接入材料提及的机器人、具身AI或三维场景合成任务，检验多视角一致性指标提升是否转化为下游任务表现。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis