SVBench：视频生成模型的社会推理能力评估
SVBench: Evaluation of Video Generation Models on Social Reasoning
Wenshuo Peng, Gongxuan Wang, Tianmeng Yang, Chuanhao Li, Xiaojie Xu, Hui He, Kaipeng Zhang
arXiv (Cornell University) · 2025-12-25
摘要
近期，文本生成视频模型在视觉逼真度、运动连贯性以及文本-视频对齐方面取得了显著进展，但在生成具有社会一致性的行为方面仍面临挑战。与人类能够凭借简短的视觉线索迅速推断他人的意图、信念、情感及社会规范不同，现有模型往往只能生成表面化的场景，无法捕捉其背后的因果与心理机制。为系统评估这一局限，我们推出了首个针对视频生成领域的社会推理基准测试。该基准基于发展心理学与社会心理学理论，涵盖七个核心维度下的三十种经典社会认知范式，包括心理状态推断、目标导向行为、共同注意、社会协作、亲社会行为、社会规范以及多主体策略。为实现这些范式的量化评估，我们构建了一套无需训练的基于智能体的流程，该流程能够提炼每种范式的推理结构，生成多样化的视频场景，通过基于线索的评判机制确保概念的中立性与难度可控性，并借助高性能视觉语言模型从五个可解释的社会推理维度对生成的视频进行评估。利用这一框架，我们对七种前沿的视频生成系统进行了首次大规模评测。结果显示，模型生成的视频在表面合理性与社会推理深度之间存在明显差距，表明当前模型在生成具有社会根基的行为方面仍存在局限。https://github.com/Gloria2tt/SVBench-Evaluation
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文指出当前文本到视频生成模型在视觉真实感、运动保真度和文本—视频对齐上进展显著，但在生成社会连贯行为方面仍存在明显不足，往往只能生成字面场景而无法体现意图、信念、情绪与社会规范等底层因果和心理动态。为系统评估这一限制，作者提出SVBench，称其为首个面向视频生成社会推理能力的基准，覆盖心理状态推断、目标导向行动、共同注意、社会协调、亲社会行为、社会规范和多智能体策略七个核心维度下的三十个经典社会认知范式。基于该框架对七个先进视频生成系统进行首次大规模评估后，结果显示模型在表层合理性与深层社会推理之间存在清晰落差。
- 研究方法
- 论文以发展心理学与社会心理学中的三十个经典社会认知范式为任务来源，将其组织为七个核心维度，并通过一个完全无需训练的智能体流水线进行操作化。该流水线先提炼每个范式的推理结构，再合成多样化的视频就绪场景，并通过基于线索的批评机制约束概念中立性与难度控制。评估阶段使用高容量VLM作为评判者，沿五个可解释的社会推理维度对生成视频打分。作者据此对七个当前先进视频生成系统开展大规模评测，材料中未明确提及每个范式的提示词数量、生成视频总数及人工评分细节。
- 学术贡献
- 论文的贡献首先在领域拓展层面：将发展心理学与社会心理学中的社会认知范式引入文本到视频生成评估，构建了面向社会推理的视频生成基准SVBench。其次在方法层面提出无需训练的智能体流水线，把范式的推理结构转化为视频场景，并以基于线索的批评机制控制概念中立性与难度。再次在评估层面引入高容量VLM评判者与五个可解释维度，对七个先进系统做大规模评测，揭示表层合理性与深层社会推理之间的落差。其价值集中于文本到视频生成模型的评测议题，尤其是社会认知与社会行为生成能力的系统测量。
- 存在局限
- 材料未报告每个范式对应的提示词、生成视频数量、难度分布与采样规则，基准的样本代表性难以据此判断。VLM评判者的评分可靠性未通过人工评分者间一致性、偏差分析或与人类判断的对照来验证，五个可解释维度与七个核心维度之间的映射关系也未明确说明。基于线索的批评机制被用于约束概念中立性与难度控制，但材料未给出该机制有效性的消融或校验结果。评测仅覆盖七个视频生成系统，系统类型与版本信息有限；“首个”基准的断言在材料内部亦缺少与既有基准的系统比较。
- 进一步研究方向
- 可设计人工验证研究：抽取部分生成视频由多人独立按五维评分，计算与VLM评判者的一致性并定位偏差来源，据此校准或重训评判器。可采用最小配对或因子设计，在同一社会范式下仅改变关键社会线索，检验各模型对意图、信念、规范等变量的敏感性。可对基于线索的批评机制做消融实验，比较启用与禁用概念中立性、难度控制时基准分数与场景分布的变化。还可扩展受测系统范围，并按七个核心维度与五个评分维度建立显式映射，报告逐维度错误类型与覆盖效度。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications