EvalCrafter：大型视频生成模型的基准测试与评估
EvalCrafter: Benchmarking and Evaluating Large Video Generation Models
Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Chan, Raymond, Ying Shan
arXiv (Cornell University) · 2023-10-17
摘要
近年来，视觉与语言生成模型发展迅速。在视频生成领域，各类开源模型及公开服务已被开发出来以产出高质量视频。然而，这些方法往往仅依赖FVD或IS等少数指标来评估性能。我们认为，仅凭这些简单指标难以对大型条件生成模型作出全面评判，因为这些模型通常基于包含多方面能力的大型数据集进行训练。为此，我们提出了一种用于全面评估生成视频性能的新框架与流程。我们首先基于真实用户数据分析，并借助大语言模型的协助，生成了涵盖700个文本到视频生成任务的多样化且全面的提示词列表。随后，我们在精心设计的基准测试中，从视觉质量、内容质量、运动质量以及文本-视频对齐程度等维度，运用17个经过精心挑选的客观指标，对当前最先进的视频生成模型进行评估。为了得出最终的模型排行榜，我们进一步拟合了一系列系数，将客观指标结果与用户偏好相匹配。基于所提出的人机对齐方法，最终评分相较于简单平均指标显示出更高的相关性，充分体现了该评估方法的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的核心论点是，FVD、IS 等少数指标难以评判在超大规模数据集上训练、具备多方面能力的大型条件视频生成模型。为此，作者提出一个用于穷尽式评测生成视频性能的新框架与流水线。该框架以文本到视频生成为对象，构建包含 700 条提示词的多样化综合列表，并从视觉质量、内容质量、运动质量、文本-视频对齐四个维度选取 17 个客观指标进行评测。作者进一步将客观指标与用户意见对齐，以形成最终模型排行榜，并报告最终分数与用户意见的相关性高于简单平均指标。这支撑了其关于单一指标不足以评判大型条件生成模型、需采用多维度并与人类判断对齐的评测主张。
- 研究方法
- 研究首先分析真实用户数据，并借助大语言模型生成 700 条文本到视频生成提示词，构成基准的提示词集合。随后在精心设计的基准上评测当前最优视频生成模型，评测维度包括视觉质量、内容质量、运动质量和文本-视频对齐。每个维度使用 17 个选定的客观指标进行定量评价。为得到最终模型排行榜，作者拟合一系列系数，将客观指标与用户意见对齐。最后通过比较该人类对齐分数与简单平均指标的相关性来检验评测方法有效性；材料中未明确提及用户意见采集流程、系数拟合的具体模型、相关性度量类型以及被评测模型的完整名单。
- 学术贡献
- 该研究在评测框架与基准层面提出 EvalCrafter，针对文本到视频生成模型评测中依赖 FVD、IS 等少数指标的实践，给出多维度、多指标的替代方案。其贡献包括构建 700 条基于真实用户数据并由大语言模型辅助生成的提示词资源，面向文本到视频生成的任务覆盖与多样性。方法上将视觉、内容、运动、文本-视频对齐四类质量拆解为 17 个客观指标，并通过系数拟合将客观指标与用户意见对齐，形成模型排行榜。该路径对视频生成模型基准评测、自动指标与人类判断对齐这两个具体议题具有直接价值，尤其为大型条件生成模型的多方面能力评价提供可操作的评测维度与指标组织方式。
- 存在局限
- 论文虽声称穷尽式评测，但 700 条提示词仅覆盖文本到视频生成，且材料未说明其相对于真实用户分布的代表性、抽样方式和覆盖边界。评测维度与 17 个指标虽被列出，但材料未交代指标选取标准、指标间权重关系以及是否存在冗余或冲突。用户意见与系数拟合是最终排行榜的关键环节，但材料未明确用户样本规模、意见采集方式、拟合模型形式与统计检验，因而难以判断人类对齐结果的稳健性。结果仅报告最终分数比简单平均指标具有更高相关性，未给出相关性数值、置信区间或跨模型、跨提示词类别的分层表现。材料未明确被评测的 state-of-the-art 视频生成模型的完整名单、版本与生成设置，限制了对评测可复现性与结论外推范围的判断。
- 进一步研究方向
- 可围绕 700 条提示词的生成过程做消融：改变真实用户数据分析方式与大语言模型辅助生成策略，检验提示词多样性、难度分布对四维 17 指标评测结果的影响。可对 17 个客观指标做选择与组合实验，例如逐一剔除或替换指标，观察最终与用户意见的相关性变化，以识别哪些指标真正支撑视觉、内容、运动与文本-视频对齐四个维度。可复现并公开用户意见采集与系数拟合流程，比较不同拟合方法以及不同用户群体划分下得到的排行榜是否一致，验证人类对齐分数的稳健性。可在同一基准上重复评测更多版本的 state-of-the-art 视频生成模型与公开服务，记录生成设置、随机种子和采样参数，检验模型排名的可复现性与时间稳定性。可构造专门针对运动质量与文本-视频对齐的困难提示词子集，检验现有 17 个客观指标在这些样本上是否仍与用户意见保持高相关，从而定位当前基准的边界。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis