视频生成模型是优秀的潜在奖励模型
Video Generation Models Are Good Latent Reward Models
Xiaoyue Mi, Yu, Wenqing, Lian, Jiesong, Shibo Jie, Zhong, Ruizhe, Zijun Liu, Guozhen Zhang, Zhou, Zixiang, Zhiyong Xu, Yuan Zhou, Lu, Qinglin, Tang, Fan
arXiv (Cornell University) · 2025-11-26
摘要
奖励反馈学习（ReFL）在使图像生成契合人类偏好方面已被证明行之有效。然而，将其拓展至视频生成领域却面临诸多挑战。现有的视频奖励模型依赖为像素空间输入设计的视觉语言模型，这使得ReFL优化只能在计算成本极高的变分自编码器解码之后、接近完全去噪的阶段才能进行。这种像素空间方法不仅会带来巨大的内存开销和更长的训练时间，而且其后期优化缺乏早期监督，仅能改善视觉质量，而无法保障基本的运动动态与结构连贯性。本研究指出，预训练的视频生成模型天然适用于噪声潜在空间的奖励建模，因为它们被专门设计为可在任意时间步处理噪声潜在表征，且凭借其序列建模能力能够内在地保留时序信息。据此，我们提出过程奖励反馈学习（PRFL）框架，该框架可在潜在空间内完成全部偏好优化，无需经过变分自编码器解码即可在整个去噪链中实现高效的梯度反向传播。大量实验表明，相较于基于RGB的ReFL，PRFL不仅能显著提升与人类偏好的契合度，还能大幅降低内存消耗与训练时间。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 该文的核心论点是：预训练视频生成模型本身即可充当奖励模型，且奖励建模应发生在含噪潜空间而非像素空间。作者以 ReFL（Reward Feedback Learning）从图像生成向视频生成的迁移为问题域，指出既有视频奖励模型依赖面向像素输入设计的视觉-语言模型，使偏好优化被限制在 VAE 解码之后接近完成的去噪步骤上。其支撑性论断有三：像素空间路径带来显著内存开销与训练时间增长；后期优化缺失早期阶段监督，只能改善视觉质量，无法作用于运动动力学与结构连贯性；视频生成模型被显式设计为在任意时间步处理含噪潜表示，并通过序列建模保留时序信息，因而天然适配潜空间奖励建模。据此作者提出 PRFL（Process Reward Feedback Learning），在潜空间中完成整个去噪链的偏好优化。
- 研究方法
- 方法路径为框架构建加对照实验：作者提出 PRFL，将偏好优化完全置于潜空间，使梯度无需 VAE 解码即可沿完整去噪链反向传播，并以 RGB ReFL（像素空间 ReFL）作为对照。评价维度为与人类偏好的对齐程度、内存消耗与训练时间三项。摘要仅称开展「大量实验」，具体的视频生成基座模型、训练数据规模、偏好数据来源与标注协议、人类偏好评估的评分者构成与统计方法，材料中未明确提及。
- 学术贡献
- 贡献属于方法创新与理论视角两个层面：其一，提出「预训练视频生成模型即潜空间奖励模型」的命题，把奖励建模的位置由像素空间移到含噪潜空间，改变了 ReFL 的优化作用域；其二，给出 PRFL 这一可执行框架，使奖励信号覆盖从高噪声到低噪声的完整去噪链，把监督从视觉质量扩展到运动动力学与结构连贯性。在效率层面，该框架报告了相对 RGB ReFL 的内存占用与训练时间下降，对视频生成偏好对齐这一子议题有直接价值。此外，其论证把「模型是否被设计为处理含噪潜表示」作为奖励模型选型依据，为奖励模型架构选择提供了一个可检验的判据。
- 存在局限
- 摘要未给出任何量化结果，对齐提升、内存与时间下降均以「显著」「大幅」表述，缺少数值与测量条件（硬件、批大小、分辨率、视频时长），效率结论的可复现性无法从材料判断。对照仅提及 RGB ReFL（像素空间 ReFL），未说明是否与依赖视觉-语言模型的既有视频奖励模型直接比较，因而「潜空间优于像素空间」的结论范围受限。偏好数据与人类评估的构造方式未交代，无法判断对齐提升是否只在单一偏好维度上成立。材料亦未讨论潜空间奖励模型是否继承基座视频生成模型自身的分布偏好，即奖励信号可能系统性偏向该基座偏好的运动模式，从而削弱其作为独立评价器的效力。
- 进一步研究方向
- 其一，做时间步消融：在同一基座上分别只在低噪声段、全链、高噪声段注入奖励梯度，用运动动力学与结构连贯性的分离指标测量各段监督的边际贡献，直接检验「早期监督改善运动而非仅视觉质量」这一论断。其二，构建双维度偏好标注集：对同一批候选视频分别标注视觉质量与运动合理性，采用成对比较协议，检验 PRFL 的提升落在哪一维度。其三，做奖励模型独立性检验：用同一组候选视频分别由潜空间奖励模型与像素空间视觉-语言奖励模型打分，计算排序一致性，量化前者对基座模型偏好的继承程度。其四，按统一协议报告效率数据，固定硬件、批大小、分辨率与时长变量，给出内存峰值与单步训练耗时的绝对值。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis