跳到主内容
人工智能

CultureScore：视频生成模型中的文化忠实度评估

CultureScore: Evaluating Cultural Faithfulness in Video Generation Models

Anku Rani, Wei Dai, Shravan Nayak, Pattie Maes, Mahdi M. Kalayeh, Paul Pu Liang

arXiv (Cornell University) · 2026-06-05

开放获取生成式与扩散影响因子 ≈0.2

摘要

随着Veo 3.1、LTX-2等视频生成模型的不断发展，其准确呈现全球多元文化的能力仍是一个至关重要却尚未得到充分研究的前沿领域。现有的评估指标如VideoScore仅能衡量视觉质量，却无法对文化忠实度进行评估。因此，即便模型将“Namaste”手势替换为握手动作，其得分也会与正确生成该手势的模型相同。我们提出CultureScore这一复合评估框架，将文化忠实度拆解为三个细分维度：身份表征（所呈现的人物属性）、语境背景（具有文化特色的场景设定）以及行为模式（符合规范的动作与互动方式）。我们通过覆盖10个国家的评估数据集对这一框架进行验证，共收集到三种前沿模型生成的6174段视频。评估结果显示，当前没有任何模型能够实现文化忠实度达标的视频生成：表现最佳的模型整体CultureScore仅为56.8%，其中行为模式维度的得分最低，所有模型在该维度的得分均未超过52.1%。此外，在视觉质量方面得分最高的LTX-2模型，在母语注释者的评判中排名垫底；在我们评估的各类自动指标中，CultureScore的行为模式维度与人类文化判断的相关性最强，这足以说明文化忠实度是实现公平视频生成的重要标准。相关数据与代码已公开发布。\footnote{\url{https://huggingface.co/datasets/ankurani/CultureScore}}

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于全文生成
主要观点
论文指出，当前视频生成模型的文化忠实性缺乏专门评估：VideoScore 等指标只衡量视觉质量，无法区分把 Namaste 替换为握手与正确生成手势的视频。作者提出 CultureScore，将文化忠实性拆解为 Identity（谁被呈现）、Context（文化本地化背景）与 Behavior（规范性手势与互动）三个维度，并以 CulturalFrames 的 981 条经母国验证提示为基础，覆盖 10 个国家与 5 个社会文化领域。实证结果显示，没有模型达到文化忠实生成：最佳模型 Wan 2.2 的总体 CultureScore 仅为 56.8%，Behavior 是最困难维度，所有模型均未超过 52.1%，而 Context 最高可达 69.3%。研究还发现视觉质量最高的 LTX-2 在母国标注者排序中垫底且 CultureScore 偏低，Wan 2.2 则 CultureScore 最高但 VideoScore 最低；在作者评估的自动指标中，CultureScore 的 Behavior 维度与人类文化判断的正相关最强。
研究方法
研究以 CulturalFrames 的 981 条经母国验证的文化提示为底本，扩展为 2,943 条提示，覆盖 10 个国家与 5 个社会文化领域，并将每条提示拆解为 Identity、Behavior、Context 三个维度。作者构造 base prompt、extended prompt 与移除国名的 geographical constraint removed prompt 三种变体，用 Veo 3.1 Fast、LTX-2、Wan 2.2 生成 6,174 段视频；LTX-2 与 Wan 2.2 生成 5 秒视频，Veo 3.1 Fast 因 API 成本仅取 10% 数据并生成 4 秒视频。评估端用 gemini-3-flash-preview 生成 9,288 个文化问答对，经问题过滤保留 8,811 条有效问题（94.87%），再由 Qwen3-VL-235B-A22B-Instruct 对视频做二值问答评分，并按三个维度平均得到 CultureScore。作者还以 Qwen3-VL-235B-A22B 与 Gemini 2.5 Flash 双评委检验评分敏感性，报告约 82% 一致率，并让母国居民对样本问题、答案及模型文化偏好排序进行标注。
学术贡献
在理论建构层面，论文将视频生成中的文化忠实性分解为 Identity、Behavior、Context 三个可诊断维度，使评估从整体分数转向定位具体文化失败环节。在方法与材料层面，作者构建并公开了覆盖 10 国、5 个社会文化领域的 2,943 条提示、6,174 段视频、9,288 个推理与问答对以及 8,811 条有效问题的评估套件，将原本用于文本到图像文化评估的 CulturalFrames 适配到视频生成场景。在领域拓展层面，该工作把生成式 AI 的文化评估从静态图像推进到包含手势、节奏与互动序列的视频，明确指出 Behavior 维度是现有模型持续失败且难以仅靠提示增强解决的环节。在实证层面，论文识别出视觉质量指标与文化忠实性之间的反向关系，并以母国标注者的偏好排序提供佐证，对视频生成评估指标设计与文化公平性议题具有直接价值。
存在局限
模型比较的采样并不对等：Veo 3.1 Fast 仅使用 10% 数据且生成 4 秒视频，而 LTX-2 与 Wan 2.2 使用全量提示并生成 5 秒视频，这可能影响跨模型在 Behavior 等时序维度上的可比性。问答生成与主评分分别依赖 gemini-3-flash-preview 和 Qwen3-VL-235B-A22B-Instruct，第二评委与主评委仅约 82% 一致，母国居民标注只覆盖样本而非全量数据，材料中未明确提及标注者规模与标注者间一致性。评估范围限于 10 个国家、5 个社会文化领域与 3 个模型，尚未覆盖更多文化区域与模型家族。总体 CultureScore 对 Identity、Behavior、Context 采用等权平均，但论文又发现 Behavior 与人类文化判断的相关性最强，等权汇总可能低估 Behavior 在人类眼中的权重。移除国名的反事实消融仅报告了 LTX-2 的 48.4% 文化特定提示子集与 Veo 3.1 Fast 的 44.8% 子集，材料中未明确提及 Wan 2.2 的对应结果，削弱了该结论的跨模型完整性。
进一步研究方向
在统一采样规模与视频时长的条件下补齐全模型对比，将 Veo 3.1 Fast 从 10% 子集扩展到全量并统一为 5 秒，再复测三国模型在 Identity、Behavior、Context 上的差异。对 2,943 条提示开展全量母国居民标注，报告标注者间一致性，并按国家与 5 个社会文化领域分层检验 CultureScore 与人类排序的对应关系。针对 Behavior 设计配对刺激实验：在相同 Identity 与 Context 下仅替换手势序列（如 Namaste 与握手），测量 Qwen3-VL 评委与母国标注者对时序文化错误的敏感度。检验维度加权方案，比较等权平均、Behavior 高权重与基于人类判断学习权重三种汇总方式同母国偏好排序的相关性。将移除国名的反事实消融扩展到 Wan 2.2 及全部匹配提示，检验模型在无地理词元时是否仍能激活对应文化行为。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Generative Adversarial Networks and Image Synthesis