重新思考面向具身世界的视频生成模型
Rethinking Video Generation Model for the Embodied World
Yufan Deng, Zilin Pan, Hongyu Zhang, Xiaojie Li, Ruoqing Hu, Yufei Ding, Yiming Zou, Yan Zeng, Daquan Zhou
arXiv (Cornell University) · 2026-01-21
摘要
视频生成模型在具身智能领域取得了显著进展，为生成能够反映物理世界中感知、推理与行动过程的多样化机器人数据开辟了新途径。然而，合成能够准确再现真实机器人交互的高质量视频仍面临挑战，且缺乏标准化基准导致难以进行公平比较与推进相关研究。为填补这一空白，我们推出了综合性机器人基准测试RBench，该基准涵盖五个任务领域与四种不同形态的机器人，用于评估面向机器人的视频生成能力；它通过结构一致性、物理合理性及动作完整性等可复现的子指标，对任务层面的正确性与视觉保真度进行综合测评。对25个代表性模型的评估结果显示，这些模型在生成符合物理规律的机器人行为方面存在明显不足。此外，该基准与人类评估结果的斯皮尔曼相关系数达到0.96，充分印证了其有效性。尽管RBench为识别这些缺陷提供了重要依据，但要实现物理真实性仍需超越评估层面，解决高质量训练数据严重匮乏的问题。基于上述认知，我们设计了优化的四阶段数据流水线，最终产出RoVid-X——这是目前规模最大的开源机器人视频生成数据集，包含400万个标注视频片段，覆盖数千种任务，并配有详尽的物理属性标注。评估体系与数据集协同作用，共同为视频模型的严谨评估与规模化训练奠定了坚实基础，从而推动具身人工智能向通用智能方向加速发展。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 该文把视频生成模型定位为具身智能的数据引擎，认为其价值在于合成同时承载感知、推理与动作的物理世界机器人交互视频。作者由此提出核心判断：当前模型生成的视频在物理真实性上系统性不足，而这一不足由两个相互关联的瓶颈造成：缺少标准化基准，导致横向比较与进展判断缺乏依据；高质量训练数据严重短缺。围绕这一判断，作者给出三条支撑性论断：面向机器人场景的生成质量必须在任务级正确性与视觉保真度两个维度上分别度量；对25个代表性模型的评测显示，生成物理可信的机器人行为存在显著缺陷；评测只能识别缺陷，弥补缺陷须转向数据侧，因此需要构建带物理属性标注的大规模视频语料。文章最终把基准与数据集表述为一个评测—数据协同生态，并将其作为通向通用具身智能的基础设施。
- 研究方法
- 研究工作分为基准构建与数据构建两条并行路径。在基准方面，作者建立RBench，以五个任务域与四种具身形态交叉组织评测空间，设计可复现的子指标分别刻画结构一致性、物理合理性与动作完整性，在同一框架内同时给出任务级正确性与视觉保真度评分；随后对25个代表性模型进行横向评测，并以与人类评价的Spearman相关系数（0.96）作为效度检验。在数据方面，作者设计四阶段数据管线，产出RoVid-X，其中含400万条带标注视频片段，覆盖数千个任务，并附带物理属性标注。材料中未明确提及五个任务域与四种具身形态的选取依据、25个模型的抽样标准，以及人类评价的评分者规模与标注协议。
- 学术贡献
- 贡献主要落在材料发掘与评测基础设施建设层面。RBench填补了机器人导向视频生成缺乏标准化基准的空白，使跨模型公平比较与可复现的细粒度诊断成为可能，其价值集中于具身智能中生成式数据合成这一议题。RoVid-X以400万片段、数千任务与物理属性标注的规模，为视频模型规模化训练提供了此前公开渠道缺失的语料，把“物理真实性”从难以操作的质性判断转化为可标注、可度量的数据属性。0.96的人机相关性结果为自动评测替代或部分替代人工评价提供了经验依据，对生成模型评测方法学具有方法层面的意义。在理论建构层面，文章提出评测与数据互为条件的生态式框架，但材料显示其仍以基础设施建设为主，未展开形式化论述。
- 存在局限
- 第一，评测与数据两侧未形成闭环验证：文章由RBench的评测结论推出数据短缺这一诊断并据此构建RoVid-X，但材料未报告以RoVid-X训练后模型在RBench上的分数变化，“数据弥补物理真实性缺陷”这一关键因果链缺乏实证支撑。第二，效度检验仅呈现0.96这一总体相关系数，未说明人类评价的评分者数量、专业背景与评分者间一致性，也未分任务域报告相关性，总体系数可能掩盖子域间的效度差异。第三，25个模型的“代表性”选取标准、五个任务域与四种具身形态的覆盖依据均未交代，基准的样本代表性无法评估。第四，结构一致性、物理合理性与动作完整性三项子指标的界定、阈值与相互独立性未作说明；若指标间高度相关，综合评分的区分度存疑。第五，RoVid-X以规模（400万片段、最大开源）为主要标榜，物理属性标注的标注者资质与标注一致性未在材料中体现。
- 进一步研究方向
- 其一，闭合训练—评测回路：按任务域、具身形态、是否含物理属性标注分层抽取RoVid-X子集，微调同一基座模型，在RBench上做对照实验与数据量缩放曲线，检验物理属性标注相对于单纯扩大数据规模的边际增益。其二，开展失败模式类型学分析：对25个模型在RBench上的失败样本按“任务域×具身形态”交叉编码，统计结构一致性、动作完整性、物理合理性三类失效的共现结构，定位哪一类具身形态最易触发物理不可信。其三，重做效度检验：扩大人类评价的评分者规模并分层（机器人学、图形学、普通标注者），报告评分者间一致性与分任务域相关系数，检验0.96的稳健性。其四，增加执行层验证：将生成视频解析为动作序列并在真实或仿真机器人上执行，以任务成功率作为外部效标，与RBench子指标做相关性分析。其五，将基准扩展至接触密集操作与可变形物体操作等当前覆盖存疑的任务类型，考察新增维度对模型排序的影响。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Robot Manipulation and Learning