StreamEval：交互式流视频生成模型评估
StreamEval: Evaluating Interactive Streaming Video Generation Models
StreamEval Team
arXiv (Cornell University) · 2026-10-20
摘要
随着流视频生成技术的不断发展，实现与生成视频的实时交互愈发重要。我们提出了StreamEval，这是一个涵盖五大任务的交互式流视频生成统一评测基准，包括虚拟人对话、虚拟人表演、场景生成、指令编辑以及参考编辑。StreamEval包含300个时长在15至300秒之间的预设测试用例，每个用例均明确了初始素材、逐步传入的多模态请求，以及对状态变化和内容保留的具体要求。该基准从任务执行、状态一致性、视觉保真度以及视听协调性四个维度对模型性能进行评估，通过十个针对特定任务的指标以0到100分的分数制呈现结果。我们对37种不同模型在300个测试用例中的表现进行了评测，发现高视觉质量和身份特征保留并不必然意味着可靠的请求执行或稳定的状态一致性。其中，请求执行仍是极具挑战性的环节：在七种虚拟人表演模型中，“跟随”任务的最高得分为36.90分；在文本条件驱动的场景生成任务中，“跟随”任务最高得分为25.93分；而在三种参考编辑模型中，“编辑成功”任务的最高得分仅为15.00分。这些研究结果表明，在时间与内容保留约束下实现可靠的请求执行，是推动多模态实时交互系统发展的核心难题。相关排行榜可访问https://streameval.ai查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文把交互式流式视频生成的核心问题界定为：系统必须在会话进程里增量接收多模态请求，并在执行新请求的同时保持既有内容与状态。据此提出 StreamEval 统一基准，覆盖数字人对话、数字人表演、世界生成、指令编辑与参考编辑五类任务，共 300 个时长 15–300 秒的脚本化测试用例，每个用例绑定初始素材（肖像、场景或源视频）、沿时间线增量到达的多模态请求，以及关于状态变化与内容保持的显式要求。作者沿任务执行、状态一致性、视觉保真度、视听协调四个维度实例化十项任务特定指标，以 0–100 计分。核心经验论断是：高视觉质量与身份保持并不必然对应可靠的请求执行或持续的状态一致性。在 37 个模型、47 个任务配置的评测中，七个数字人表演模型的 Following 最高为 36.90，文本条件世界生成的 Following 最高为 25.93，三个参考编辑模型的 Edit Success 最高为 15.00，作者据此把「时序与保持约束下的可靠请求执行」判定为全模态实时交互系统的主要瓶颈。
- 研究方法
- 采用基准构建与跨系统横评相结合的路径：先用 Qwen3.8-Max 起草会话目标、定时控制事件、受保护属性与预期结果，再由人工编写 oracle 规定每个检查点在何时建立、保留、取消或恢复何种状态；素材侧以 GPT-Image-2、Qwen-Image 合成肖像与视觉参考，以 Qwen3.5-Omni 生成用户语音与规定台词，以 Wikimedia Commons、NASA、Blender Studio 的授权实拍、动画及基准生成场景构成连续编辑源，并逐模态筛查（Qwen3-ASR 转写词错率不超过 0.25、Qwen3.8-Max 审查图像解剖与渲染缺陷、检查场景切换与冻结帧）。评分环节为每项指标配置自动评审，并以正负探针校准，要求假阳性不超过 5%、假阴性不超过 10%、未决不超过 10%；Identity 由 Qwen3.8-Max-0902 与 Qwen3-VL-Plus 双评审取低值，A–V Sync 以唇开与音频包络相关不低于 0.3 为通过，并用 2,000 次会话 bootstrap 将系统偏移的 95% 区间约束在正负 200 毫秒内。评测规模为 300 个用例、每个时长层（15、30、60、120、300 秒）各 12 例、每用例每模型三次重复运行，各时长层等权聚合。除定量横评外，另设一节记录一次参考编辑会话的过程性观察，并做基准覆盖度分析。
- 学术贡献
- 在领域拓展层面，论文将此前分散于数字人、世界模型与视频编辑三个方向的评测需求整合进同一套会话协议，表 1 显示 VBench、WorldMark、WBench 等仅覆盖世界生成，Full-Duplex-Bench、VideoFDB 仅覆盖对话，LongV2VBench 仅覆盖 60 秒编辑，StreamEval 是唯一同时覆盖五类任务且时长跨度达 15–300 秒的基准，其 300 秒编辑用例相对 LongV2VBench 为五倍扩展、世界生成用例超出 StreamAV-Bench 的 180 秒。在材料发掘层面，公开 300 个用例、1,347 个计划在线事件、240 个独立源族以及单轮 525 分钟的主动流式生成量，并附时间线、oracle 与逐资产许可信息。在方法层面，提出四维十指标结构、以 Quality 门控 Stability 的指标耦合设计、时长分层等权聚合，以及双评审取低与 bootstrap 偏移估计的评分稳健化处理。在实证层面，给出视觉质量、身份保持与请求执行之间的分离证据，对交互式视频生成评测这一子议题具有直接的方法参照价值。
- 存在局限
- 测试输入为脚本化与人工撰写，而非自然发生的用户行为，论文自身也承认其与 VideoFDB 所测自然非言语线索是互补关系，未覆盖用户视频感知类需求。模型覆盖不均衡：指令编辑仅 5 个配置、参考编辑仅 3 个配置，且编辑表格只展示 Overall 不低于 5 的配置，论文明确说明模型与配置总数仅指报告子集，Edit Success 15.00 的结论建立在这一经过筛选的小样本之上。LiveAvatar FULL 与 Tavus CVI Full 因接口不支持定制而使用提供方固定化身，Identity 以其自身首帧为参照评分，与其他模型的可比性因此削弱。指标设计存在结构性问题：Stability 由 Quality 门控，两指标测量范围重叠，高 Stability 同时要求时间一致与视觉质量达标；A–V Sync 受源采样稀疏限制，对话为 500 毫秒、表演为 250 毫秒，时间分辨率有限。此外评分整体依赖 Qwen 系列模型担任自动评审，虽有探针校准与双评审取低，仍属模型裁判而非人工判定；图 3 的交互统计也只基于 200 个用例的 562 个在线事件，未覆盖全部 300 例。
- 进一步研究方向
- 其一，以真实用户会话日志替换或并行补充脚本化输入，采集自然分布下的请求时序与打断模式，检验在自然交互密度下 Following 与 Edit Success 的排序是否与当前脚本化结果一致。其二，针对低分指标做误差归因实验：按图 3(d) 的计划输入间隔（以 log₂ 秒计）、五个时长层与每会话事件数分组拆解失败案例，判定失败主要源于时间对齐、目标定位还是保持失效。其三，将 A–V Sync 的采样密度由 500 毫秒、250 毫秒提高到逐帧，与现有稀疏采样结论做一致性比对，量化采样率对通过率的偏置。其四，扩充指令编辑与参考编辑的模型池，并纳入 Overall 低于 5 的配置重跑，检验当前展示子集是否引入筛选偏差。其五，针对 Edit Success 已定义的 scope、active-state、deadline、persistence、protected-content 五项检查，建立细粒度的保持失败标注集，并据此设计以保持约束为目标的训练信号。其六，开展自动评审与人工评分的一致性研究，重点量化模型裁判在 Identity 与 Preservation 两类判断上的系统性偏置。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis