EvalCrafter：大型视频生成模型的基准测试与评估
EvalCrafter: Benchmarking and Evaluating Large Video Generation Models
Yaofang Liu, Xiaodong Cun, Xuebo Liu, Xintao Wang, Yong Zhang, Haoxin Chen, Yang Liu, Tieyong Zeng, Raymond Chan, Ying Shan
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
近年来，视觉与语言生成模型迅速发展。在视频生成领域，各类开源模型及公开服务已被开发出来以生成高质量视频。然而，这些方法通常仅采用少数指标，如FVD [56]或IS [45]来评估性能。我们认为，仅凭这些简单指标难以对大型条件生成模型作出全面评判，因为这些模型往往基于包含多方面能力的大型数据集进行训练。为此，我们提出了一种全新的框架与流程，用于对生成视频的性能进行全方位评估。我们首先基于真实用户数据分析，并借助大语言模型的协助，生成了包含700个文本到视频生成任务的多样化且全面的提示词列表。随后，我们利用精心设计的基准测试集，从视觉质量、内容质量、运动质量以及文本-视频对齐程度等维度，采用17个经过精心挑选的客观指标，对当前最先进的视频生成模型进行评估。为了得出最终的模型排行榜，我们进一步拟合了一系列系数，以使客观指标结果与用户评价相一致。基于所提出的人机对齐方法，最终评分相较于简单平均指标结果展现出更高的相关性，从而证明了该评估方法的有效性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文针对大规模条件视频生成模型评估中常用FVD、IS等少数指标难以判断其多面向能力的问题，提出应构建更穷尽的评估框架与流程。研究对象是文本到视频生成模型，核心论断是需以覆盖视觉质量、内容质量、运动质量与文本-视频对齐的基准来刻画生成视频表现。作者构造了由700条文本到视频提示组成的多样且全面的提示列表，并在该基准上使用17个精选客观指标评估当前先进视频生成模型。为得到最终模型排行榜，论文进一步拟合一组系数，使客观指标与用户意见对齐，并声称该最终分数比简单平均指标具有更高相关性。
- 研究方法
- 研究路径包括基准构建与指标对齐两部分：先基于对真实用户数据的分析，并借助大语言模型生成700条文本到视频提示，形成多样且全面的提示列表。随后在精心设计的基准上评估当前最先进的视频生成模型，评估维度为视觉质量、内容质量、运动质量与文本-视频对齐。量化部分选取17个客观指标进行打分。为生成最终排行榜，论文拟合一系列系数，将客观指标映射到用户意见。最后通过比较，说明基于该人类对齐方法的最终分数比简单平均指标具有更高相关性。
- 学术贡献
- 贡献主要落在文本到视频生成的评估方法与基准构建层面。论文提出了一套用于穷尽评估生成视频性能的框架与流程，回应了仅依赖FVD或IS等少数指标评判大规模条件生成模型的不足。在材料层面，它构造了700条文本到视频提示，覆盖真实用户数据分析和LLM辅助生成两条来源线索。在指标层面，它把视觉质量、内容质量、运动质量与文本-视频对齐四个维度落实为17个客观指标。在排行榜层面，它提出以拟合系数对齐客观指标与用户意见的方法，并报告最终分数较简单平均指标有更高相关性。
- 存在局限
- 材料未明确提及真实用户数据的来源范围、采样方式与时间跨度，因此700条提示的代表性难以从摘要判断。大语言模型在提示生成中承担何种角色、如何过滤或校验提示，材料中未明确提及。17个客观指标的具体清单、选取标准及四个维度之间的权重关系也未在摘要中说明。用户意见的采集方式、用户数量与背景、标注一致性等关键信息同样未明确提及。拟合系数与用户意见对齐的有效性目前只以最终分数相关性高于简单平均指标来呈现，缺少对不同模型集或不同用户群体的稳健性检验说明。
- 进一步研究方向
- 后续可围绕700条提示的构成做消融研究：按真实用户数据来源、LLM生成类别或视频主题分层，检验提示子集如何改变模型排行榜与指标相关性。可对17个客观指标在视觉质量、内容质量、运动质量、文本-视频对齐四个维度上做分组或留一分析，识别哪些指标真正驱动最终分数。还可设计跨用户群体的对齐实验，比较不同用户意见样本下拟合系数的稳定性，并检验所得排行榜是否随用户构成变化。进一步可将同一评估流程扩展到更多条件生成设置或不同生成任务，验证框架的适用范围，但材料中未明确提及这些扩展是否已被考虑。可复现性方面，可报告提示列表、指标实现与系数拟合流程的完整细节，以便外部基准测试。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis