极线几何约束可优化视频生成模型
Epipolar Geometry Improves Video Generation Models
Orest Kupyn, Uscidda, Théo, Gazulla, Marta Tintore, Fabian Manhardt, Federico Tombari, Christian Rupprecht
arXiv (Cornell University) · 2025-10-24
摘要
借助采用修正流技术训练的潜扩散变换器，视频生成模型已取得显著进展。然而，这些模型仍面临几何一致性差、运动不稳定以及视觉伪影等问题，难以营造出逼真的3D场景幻觉。具备3D一致性的视频生成技术将对生成与重建领域的众多下游应用产生深远影响。本研究探讨了极线几何约束对现代视频扩散模型的优化作用。即便使用了海量训练数据，这些模型仍无法准确捕捉基本的几何原理。我们通过基于偏好的优化方法，利用成对极线几何约束对扩散模型进行校准，借助具有数学严谨性的几何约束直接解决轨迹不稳定与几何伪影问题。该方法无需端到端可微性即可有效强制实现几何原理。评估结果表明，传统几何约束所提供的优化信号比现代学习得到的度量指标更为稳定。在静态场景与动态摄像机条件下进行的训练既能保障度量质量，又能使模型适配各类动态场景。通过将数据驱动的学习方法与经典计算机视觉技术相结合，我们的方法可将极线误差降低31%，同时将人类评价的一致性得分从54%提升至72%，且不会损害视觉质量。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对潜空间扩散 Transformer 结合 rectified flow 训练的视频生成模型在 3D 一致性、运动稳定性和视角几何上的缺陷，提出以对极几何约束作为偏好信号对模型进行对齐。其核心论点是：即便训练数据近乎 3D 一致，模型仍未掌握投影几何基本原理；成对帧间的对极几何（Sampson 距离）能提供客观、数学上可解释的相对排序信号，适合通过 Flow-DPO 构造偏好对而不要求端到端可微。作者进一步主张，经典几何约束比现代学习型奖励提供更稳定的优化信号，并以静态场景加动态相机的训练方式获得可迁移到动态场景的几何一致性。实验以 31% 的对极误差下降和人类一致性评分从 54.1% 到 71.8% 支撑该论点。
- 研究方法
- 方法路径为：以 Wan-2.1（1.3B）为基座，使用 LoRA 进行 Flow-DPO 偏好优化；偏好分数由 SIFT 特征匹配、归一化八点法配合 RANSAC 估计基础矩阵后，在抽样帧对上计算平均 Sampson 误差得到，误差低者为 preferred。训练数据为离线生成：从既有场景描述提取文本提示，用 Gemma-3 VLM 扩写更具挑战性的相机运动描述，每个 caption 生成三条视频，过滤近静态样本并只保留指标差超过阈值的偏好对，共 24,000 个 T2V 与 30,000 个 I2V 三元组，约 1,980 GPU 小时。训练配置为 rank=64、α=128 的 LoRA，batch size 32、10,000 次迭代、AdamW、学习率 5×10^-6，4 张 A6000 约 2 天。为处理运动—一致性权衡加入时间方差惩罚（λ=0.001），并用时间步权重 exp(−2(t−0.5)^2) 与隐式 KL 正则提升动态场景泛化。评估在 DL3DV、RealEstate10K 的 400 条视频上进行，并结合 VBench 2.0、MiraData、VideoReward、两阶段人工评价与基于 VGGT 和 Gaussian Splatting 的重建指标。
- 学术贡献
- 在方法层面，论文把经典计算机视觉中的非可微对极几何约束嵌入偏好优化框架，证明仅需相对排序即可把 Sampson 误差作为奖励信号用于视频扩散模型对齐，形成不依赖显式 3D 监督的对齐路径。在机制层面，它明确分析了对齐中的运动—一致性权衡，并用静态运动惩罚、LoRA、隐式 KL 与时间步加权解释和缓解静态退化与动态场景泛化问题。在材料层面，论文发布 162,000 条带几何一致性标注的生成视频数据集，并给出涵盖感知质量、3D 一致性、运动稳定性、视觉保真度与跨场景泛化的评估协议。对视频生成的后训练对齐、几何一致性评价以及生成式 3D 重建等子领域具有直接价值，尤其说明经典几何指标相较学习型人类偏好奖励在优化稳定性上的优势。
- 存在局限
- 对极约束以单一基础矩阵描述帧间关系，材料明确承认其只适用于静态场景加相机运动，动态物体违反该假设并会污染偏好信号；因此训练完全排除动态场景，动态内容上的泛化虽在 VBench 2.0、MiraData、VideoReward 上报告，但并非由动态场景偏好对直接监督。偏好分数依赖 SIFT 手工描述子、RANSAC 与八点法；材料虽称可替换为学习型描述子并做了消融，但主流程与主要结果仍建立在 SIFT 上，描述子替换对偏好排序的完整影响未在节选中展开。训练需为每个提示生成多条视频并离线筛选，24,000+30,000 个三元组耗费约 1,980 GPU 小时，且只保留指标差超过阈值的样本，偏好对构造成本高并依赖过滤阈值。DPO 仅利用同一提示内的相对排序，跨场景绝对几何质量不可比，这使模型在未见场景上的几何一致性难以用同一标尺直接断言。评价集为 400 条视频，人工评价的标注者数量与标注者间一致性材料中未明确提及；透视真实性从 0.426 到 0.428 的提升幅度很小，说明部分几何指标改善有限；方法仅在 Wan-2.1 1.3B 上验证，未报告向其他视频模型的迁移。
- 进一步研究方向
- 其一，在同一 Flow-DPO 流程下系统替换 SIFT 为材料提及的学习型描述子，并控制匹配数量与 RANSAC 阈值，比较 Sampson 排序与人工一致性评分的相关性，以检验偏好信号对描述子选择的敏感性。其二，针对动态物体违反单一基础矩阵的问题，可构造带运动物体掩码的偏好评分，仅在静态背景区域计算对极误差，并在 MiraData、VBench 2.0 的动态样本上训练与测试，验证动态场景直接对齐能否在保持运动偏好的同时降低对极误差。其三，对时间方差惩罚系数 λ 与时间步权重进行网格扫描，以 VBench 运动质量、VideoReward 运动偏好和静态退化率为因变量，刻画运动—一致性权衡曲线。其四，将成对对极约束扩展为多帧或多视图一致性评分并接入同一 DPO 目标，以下游 Gaussian Splatting 重建的 PSNR、SSIM、LPIPS 作为验证指标，检验多视图约束是否比成对 Sampson 误差更能提升重建质量。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis