PE-Field 4D：作为画布的视频生成模型
PE-Field 4D: Video Generation Models as Canvas
Yunpeng Bai, Haoxiang Li, Qi-xing Huang A
arXiv (Cornell University) · 2026-07-17
摘要
近年来，扩散变换器在视频生成领域取得了显著成效，但在视角变化和摄像机运动条件下对场景几何结构的控制仍面临挑战。本研究重新审视了位置编码在视频扩散变换器中的作用，结果表明其为基于几何结构的控制提供了有效的空间偏差依据。具体而言，若参照标记根据其投影到目标视图中的位置进行编码，去噪模型便会被引导从输入视频中位置对齐的区域提取内容。基于这一发现，我们提出了一种基于几何结构的交叉注意力机制，使目标视频潜变量标记能够关注源自参考图像或帧的结构化上下文标记。为了实现参考内容与目标摄像机轨迹之间的对应，我们为上下文标记配备了投影式位置编码方案，该方案结合了目标视图的二维投影与基于深度的歧义消除技术。同时，我们保留了生成视频潜变量的原始时空位置编码，从而在注入几何引导的同时确保其与视频模型固有的潜结构保持一致。由此形成的框架为可控视频生成提供了一种简便且高效的方法。该方法提升了依赖视角的编辑任务中的空间可控性，包括摄像机轨迹重定、新视角视频合成以及基于几何结构的视频编辑，同时保留了底层视频扩散模型的生成先验。相关代码已开源，网址为：https://github.com/MTLab/PE-Field。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的核心论点是：视频扩散Transformer中的位置编码并非仅承担时空索引功能，而是提供了可用于几何感知控制的空间偏置。若参考token按其目标视图中的投影位置进行编码，去噪模型会被引导从输入视频中位置对齐的区域检索内容。据此，作者提出几何感知交叉注意力，使目标视频潜变量token关注由参考图像或参考帧导出的结构化上下文token。为建立参考内容与目标相机轨迹的对应，上下文token采用投影位置编码，将目标视图2D重投影与深度感知消歧结合。与此同时，生成视频潜变量原有的时空位置编码被保留，使几何引导在不破坏模型原生潜结构的前提下注入，最终提升相机重轨迹、新视角视频合成与几何感知视频编辑等视角相关任务的空间可控性，并保持底层视频扩散模型的生成先验。
- 研究方法
- 方法路径是对视频扩散Transformer中位置编码的作用进行重新审视，并据此设计几何感知交叉注意力，将参考图像或参考帧构成的结构化上下文token与目标视频潜变量token相连接。具体采用投影位置编码，把目标视图2D重投影与深度感知消歧结合，以建立参考内容与目标相机轨迹之间的对应关系。设计上保留生成视频潜变量原有的时空位置编码，作为注入几何引导时的结构约束。作者在相机重轨迹、新视角视频合成和几何感知视频编辑等任务上展示该框架的效果，并提供代码链接。材料中未明确提及所用数据集、样本规模、对比基线与定量评价指标。
- 学术贡献
- 在理论层面，论文将位置编码从常规时空索引重新解释为可注入几何先验的空间偏置，为视频扩散Transformer的可控生成提供了机制性说明。在方法层面，几何感知交叉注意力与投影位置编码的组合使参考token按目标视图投影位置参与注意，属于方法创新。在领域层面，该工作把参考图像或参考帧的结构化上下文与目标相机轨迹对应起来，拓展了视角相关视频编辑、新视角视频合成与相机重轨迹等子议题。设计上强调保留原生时空位置编码，对维持视频扩散模型的生成先验具有价值。代码公开也有助于复现与后续比较。
- 存在局限
- 就提供的材料而言，论文未报告定量结果、数据集构成、样本规模与对比基线，难以判断方法在不同场景复杂度下的稳定性。深度感知消歧的具体实现及其失败条件未说明，遮挡、深度不连续或重投影误差较大时的表现缺少论证。消融链条不完整，未分别量化2D重投影、深度消歧与保留原时空位置编码各自的贡献。任务列举覆盖相机重轨迹、新视角视频合成与几何感知视频编辑三类应用，但缺少对相机轨迹精度、视角一致性与生成质量之间权衡的分析。材料也未讨论参考帧数量、分辨率或相机运动幅度对性能的影响。
- 进一步研究方向
- 可围绕投影位置编码开展受控消融，分别比较仅使用2D重投影、加入深度感知消歧、去除原时空位置编码三种设置，在相同相机轨迹与参考帧条件下测量重投影误差与视角一致性。针对遮挡与深度不连续场景构造分层测试，检验深度感知消歧的适用边界。将参考帧数量、相机基线长度与运动幅度作为自变量，分析空间可控性与生成先验保持之间的权衡。在相机重轨迹、新视角视频合成与几何感知视频编辑三类任务上建立统一评价协议，补充与基线方法的定量对比及失败案例分析。还可考察多参考图像或多帧上下文下交叉注意力token组织的扩展方式。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis