文本到视频生成模型的评估：基于动态特性的视角
Evaluation of Text-to-Video Generation Models: A Dynamics Perspective
Liao, Mingxiang, Hannan Lu, Xinyu Zhang, Fang Wan, Tianyu Wang, Yuzhong Zhao, Wangmeng Zuo, Qixiang Ye, Jingdong Wang
arXiv (Cornell University) · 2024-07-01
摘要
全面且具建设性的评估协议对先进的文本到视频生成模型的发展具有重要意义。现有的评估协议主要侧重于时间一致性与内容连续性，却往往忽视了视频内容的动态特性。动态特性是衡量视频视觉生动性以及视频内容与文本提示吻合程度的重要维度。在本研究中，我们提出了一种名为DEVIL的有效评估协议，该协议以动态特性为核心来评估文本到视频生成模型。为此，我们构建了一个包含能够充分反映多种动态等级的文本提示的新基准数据集，并定义了一组对应不同时间粒度的动态评分，以此全面评估各生成视频的动态表现。基于这一新基准和动态评分，我们通过动态范围、动态可控性及基于动态的特性质量三个指标对文本到视频生成模型进行评估。实验结果表明，DEVIL与人类评价结果之间的皮尔逊相关系数超过90%，显示出其在推动文本到视频生成模型发展方面的潜力。相关代码可在https://github.com/MingXiangL/DEVIL获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对文本到视频（T2V）生成模型评价中忽略视频内容动态性（dynamics）的问题，提出以动态性为核心维度的评价协议DEVIL。作者将动态性界定为视频内容随时间发生的视觉变化与交互程度，包括物体运动、动作多样性、场景转换等，并强调生成视频的动态性应与文本提示相称，且高动态视频常与低质量得分负相关，模型可能通过生成低动态内容来“作弊”。DEVIL建立按动态等级（1至5级，从静态到极高动态）标注的文本提示基准，并定义跨时间粒度的动态性分数。基于该基准与动态性分数，论文设计动态范围、动态可控性和基于动态的质量三项指标，用于评估T2V模型。实验报告DEVIL与人工评分的皮尔逊相关超过90%。
- 研究方法
- 论文从VidProm、WebVid、MSR-VTT、Didemo等现有基准收集约5万条文本提示，先用GPT-4赋予初始动态等级，再由六名人工标注者修正，最终按动态等级均匀采样约800条提示，每个等级含19个对象类别和4个场景类别。动态性分数在帧间、段间和视频级三个时间粒度上计算：帧间包括光流强度、结构动态分数和感知动态分数；段间包括patch级非周期性和全局非周期性；视频级包括时间熵和时间语义动态。作者用人类评分拟合各粒度的线性回归模型，并将三个粒度的对齐分数平均得到总体动态性分数。三项指标分别采用分位数差（动态范围，Q0.99−Q0.01）、排序一致性（动态可控性）和将动态分数划分为12个等距区间后计算复合质量均值（基于动态的质量）。自然度指标由多模态大模型Gemini-1.5 Pro将视频分为五个自然度等级后取平均。
- 学术贡献
- 论文将动态性作为T2V生成模型评价的一级维度，补充了既有协议偏重时间一致性与内容连续性的不足，属于评价框架与指标层面的理论建构。它构建了按动态等级均匀分布的文本提示基准，为动态范围、动态可控性与基于动态的质量评估提供了可复用的数据基础，属于材料发掘与基准建构贡献。论文提出跨帧间、段间、视频级的动态性分数体系，并给出动态范围、动态可控性、基于动态的质量以及自然度等具体指标，属于方法创新。其实验评估了GEN-2、Pika、VideoCrafter2、Open-Sora、StreamingT2V、FreeNoise-Lavie等模型，指出顶尖模型倾向于生成慢动作视频以获取高质量分数、现有训练数据动态分布有偏，以及模型真实世界模拟能力有限。这些发现对T2V生成模型评测、训练数据构建和动态可控生成子领域具有直接价值。
- 存在局限
- 文本提示基准最终为约800条，尽管按五个动态等级均匀采样并覆盖若干对象与场景类别，但材料未说明其在长尾动态场景、跨语言或跨文化提示上的代表性。总体动态性分数由各粒度线性回归拟合后等权平均，线性融合方式是否足以刻画动态性的非线性与交互效应，材料中未给出比较实验或消融依据。动态可控性采用排序一致性，只检验文本动态等级与视频动态分数的秩对应关系，未评估同一等级内动态幅度或语义内容的匹配精度。基于动态的质量将动态分数划分为12个等距区间后取区间均值，区间数L=12的设置依据、区间内部方差以及复合质量指标选取的敏感性在材料中未明确说明。评估模型数量为六个，且材料未报告随机种子、提示改写、模型版本变化对指标稳定性的影响；自然度指标依赖Gemini-1.5 Pro评分，材料未详述其与人类评分者间一致性的检验设计。
- 进一步研究方向
- 可基于作者提出的“更精细训练数据与更好方法”方向，构建动态等级标注更均衡的训练集，并在训练目标中加入按动态等级条件化或排序约束的模块，验证能否在不降低质量指标的前提下提升动态范围与动态可控性。可扩展DEVIL基准至更多对象、场景、语言与文化语境，并报告不同随机种子、提示模板和模型版本下的动态分数波动，以检验基准与指标的稳健性。可比较线性回归、非线性回归或可学习融合策略对总体动态性分数与人类评分相关性的影响，并引入多个人类评分组计算评分者间一致性，检验自然度指标中多模态大模型评分的偏差。可将动态性与时间一致性、内容连续性、文本-视频对齐指标联合建模，分析多目标权衡关系，并测试联合优化或条件生成方法能否缓解高动态与高质量之间的负相关。可针对动态可控性设计更细粒度的评估，如按动态等级分层比较绝对动态幅度、运动类型和场景转换类型，验证模型对“戏剧性文本提示”的响应忠实度。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis