文本到视频生成模型的评估：基于动态视角的研究
Evaluation of Text-to-Video Generation Models: A Dynamics Perspective
Mingxiang Liao, Hannan Lu, Xinyu Zhang, Jingdong Wang, Tianyu Wang, Yuzhong Zhao, Wangmeng Zuo, Qixiang Ye, Jingdong Wang
neural information processing systems · 2024-01-01
开放获取生成式与扩散被引 20被引前 10%影响因子 ≈3.8
摘要
文本到视频生成模型的评估：基于动态视角的研究。随着生成式人工智能技术的快速发展，文本到视频生成模型在内容创作领域的应用日益广泛，但其性能评估仍面临诸多挑战。本研究从动态变化的视角出发，构建了涵盖生成过程稳定性、输出内容连贯性以及实时响应能力等多维度的评估体系，旨在更全面、准确地衡量这类模型的综合表现。相关研究成果可为文本到视频生成技术的优化与应用提供重要的理论参考与实践指导。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对文本到视频（T2V）生成模型评估中 dynamics 维度被忽视的问题，指出既有协议主要关注 temporal consistency 与 content continuity，未充分衡量视频内容的动态性。作者将 dynamics 界定为视频内容随时间发生的视觉变化与交互程度，涵盖 object motion、action diversity、scene transitions，并强调生成视频的动态性应忠实于 text prompts，且 dynamics 与质量分数存在负相关，模型可能通过生成低动态内容“作弊”获取高质量分数。为此提出 DEVIL 评估协议，以 dynamics 为首要维度，建立包含多个 dynamics grades 的 text prompt benchmark，并定义跨时间粒度的 dynamics scores。基于该基准与分数，设计 dynamics range、dynamics controllability、dynamics-based quality 三个指标，并引入基于 Gemini-1.5 Pro 的 naturalness 指标。实验称 DEVIL 与人类评分的 Pearson correlation 超过90%，并发现现有数据集动态分布有偏、训练 prompt 动态偏置限制可控性、现有方法真实世界模拟能力有限。
- 研究方法
- 材料构建上，作者从 VidProm、WebVid、MSR-VTT、Didemo 收集约50,000条 text prompts，用 GPT-4 初标 dynamics grade（1至5，从静态到极高动态），再由六名人类标注者细化，最终均匀采样约800条，每个等级包含约19个 object categories 和4个 scene categories。视频生成评估覆盖 GEN-2、Pika、VideoCrafter2、Open-Sora、StreamingT2V、FreeNoise-Lavie 等模型，基于该 prompt benchmark 生成视频。动态分数按 inter-frame、inter-segment、video-level 三个时间粒度计算：inter-frame 使用 RAFT 光流强度、SSIM 结构动态、感知哈希 Hamming 距离；inter-segment 使用 patch-level ACF 非周期性与 ViCLIP 特征相似度的全局非周期性；video-level 使用 FFmpeg 条件熵的时间熵与 DINO 特征方差的时间语义动态。这些分数通过人类评分拟合线性回归在不同粒度对齐，再取三层平均作为 overall dynamics score。三个模型级指标分别用动态分数分位数极差（99%与1%分位差）、排名一致性公式、以及将动态分数分12个区间后平均复合质量分数（Nat、MS、SC、BC）来计算；naturalness 由 Gemini-1.5 Pro 评五级。实验以 Pearson、Kendall 相关和 win ratio 评估与人类评分的一致性。
- 学术贡献
- 理论建构上，论文将 dynamics 确立为 T2V 评估的核心维度，补充 temporal consistency 与 content continuity 之外的动态性评价框架。方法创新上，提出跨 inter-frame、inter-segment、video-level 的 dynamics scores，并通过人类评分线性回归对齐，同时提出 dynamics range、controllability、quality 三指标和基于多模态大模型的 naturalness 指标。材料发掘上，构建了约800条、按五个 dynamics grades 均匀分布、覆盖19类对象与4类场景的 text prompt benchmark，并对 VBench、EvalCrafter 等现有基准的动态分布进行对比标注。领域拓展上，对 T2V 生成模型评估子领域有价值，揭示 dynamics 与质量指标负相关导致的评估偏差，以及训练数据 prompt 动态偏置对 dynamics controllability 的限制。论文通过评估现有模型，指出需要更精细的训练数据和更好方法来同时提升 quality 与 dynamics scores。
- 存在局限
- 文本提示基准虽约800条且等级均匀，但材料未说明采样是否覆盖多语言、多文化或长尾动作类型，样本代表性边界不清晰。dynamics grade 由 GPT-4 初标与六名人类标注者细化，但材料未报告标注者间一致性、分歧处理流程与人工修正标准，标签可靠性缺乏量化说明。动态分数与人类评分通过线性回归对齐，但材料未明确人类评分的样本量、评分者构成与评分协议，也未说明是否采用交叉验证检验回归模型的泛化能力。Dcontrol 仅用排名一致性检验 prompt 动态等级与视频动态分数的序关系，无法评估同一等级内的细粒度控制或非单调对应关系。Dquality 将动态分数划分为12个等宽区间并平均复合质量分数（Nat、MS、SC、BC），材料未说明各质量指标尺度和权重如何处理，也未说明等权平均 overall dynamics score 的合理性。naturalness 依赖 Gemini-1.5 Pro 单一模型五级评分，材料未给出该评分与人类自然度判断在各级别上的细粒度一致性。
- 进一步研究方向
- 可基于 DEVIL 的动态等级标注流程扩充训练语料，在低动态偏置与均衡动态分布两种数据条件下训练或微调同一 T2V 模型，检验 dynamics controllability 与 dynamics-based quality 是否同时提升，从而验证数据偏差导致慢动作的因果链。可增加人类评分样本与标注者背景，报告标注者间一致性，并采用留出验证或交叉验证比较线性回归对齐与等权平均整体动态分数的性能。可针对19个 object categories 和4个 scene categories 分层分析 dynamics range 与 controllability，识别哪些对象或场景类别在动态控制上失败。可将 naturalness 指标与人类自然度评分在各动态等级上做细粒度相关分析，并检验高动态视频中 unnatural 现象（如多腿猫、水往高处流）与动态分数的关系。可把 dynamics 与 quality 的负相关作为优化约束，设计新的训练目标或采样策略，测试能否缓解模型通过低动态“作弊”获取高质量分数的现象。可在更多 T2V 模型上复现 DEVIL 评估，检验模型排名在加入 dynamics 维度后是否变化。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis