Open-Sora Plan：开源大视频生成模型
Open-Sora Plan: Open-Source Large Video Generation Model
Bin Lin, Yunyang Ge, Xinhua Cheng, Zongjian Li, Zhu, Bin, Shaodong Wang, He, Xianyi, Ye Yang, Shenghai Yuan, Liuhan Chen, Jia, Tanghui, Junwu Zhang, Zhenyu Tang, Yatian Pang, She, Bin, Yan, Cen, Zhiheng Hu, Xiaoyi Dong, Chen, Lin, Pan Zhang
arXiv (Cornell University) · 2024-11-28
摘要
我们介绍Open-Sora Plan，这是一个开源项目，旨在贡献一个大生成模型，以基于各类用户输入生成所需的高分辨率长时长视频。本项目包含面向完整视频生成流程的多个组件，包括小波流变分自编码器、联合图像-视频Skiparse去噪器以及各类条件控制器。此外，我们设计了诸多用于高效训练与推理的辅助策略，并提出了多维数据筛选流程以获取所需的高质量数据。得益于高效思路，我们的Open-Sora Plan在定性与定量评估中均取得了出色的视频生成结果。我们希望我们的精细设计与实践经验能够为视频生成研究界带来启发。所有代码与模型权重均已在\url{https://github.com/PKU-YuanGroup/Open-Sora-Plan}公开提供。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出Open-Sora Plan，一个开源大型视频生成项目，目标是在文本、多图像和结构控制信号等多种用户输入下生成高分辨率、长时长视频。其核心主张是把视频生成过程拆分为Wavelet-Flow Variational Autoencoder、Joint Image-Video Skiparse Denoiser和条件控制器三个组件，并配合高效训练/推理策略与多维数据治理管线。WF-VAE通过多级Haar小波变换获取频域多尺度特征，并以Causal Cache缓解分块推理造成的潜空间断裂；去噪器从2+1D注意力转向3D全注意力以建模物体运动、镜头运动、物理和人动作，再用Skiparse Attention降低计算量。条件控制器以帧级图像条件和canny、depth、sketch等结构条件统一图像到视频、视频过渡、视频续写及可控生成。论文声称在定性和定量评价上取得结果，并公开代码与模型权重。
- 研究方法
- 论文采用模型架构设计与技术报告式实现：对视频信号做多级Haar小波分解并产生八个子带，组合2D与3D小波实现4×8×8压缩；VAE损失由L1、感知损失、对抗损失、KL正则和WL损失构成，并采用动态对抗损失权重。推理端用因果3D卷积与Causal Cache按块缓存尾帧；VAE训练分三阶段，从25帧256×256到49帧并降低FPS，再调整λlpips，使用AdamW、学习率1×10⁻⁵、8个NPU/GPU。去噪器采用3D RoPE、adaLN-Zero和Cross-DiT/MM-DiT块，提出Single Skip与Group Skip交替的Skiparse Attention，并以Average Attention Distance比较Full 3D、2+1D、Skip+Window与Skiparse。训练采用从图像到视频的渐进策略，图像数据含SAM、Anytext、Human-images，视频数据为Panda70M及筛选后的高质量数据，最大形状93×640×640、batch size 1024、学习率2e-5。数据管线包含跳切检测、裁剪、快慢动作过滤、边缘字幕裁剪、美学评分、技术质量评估和caption标注，LPIPS用于跳切检测；条件控制器通过改变掩码统一多任务。
- 学术贡献
- 在开源视频生成模型工程层面，论文公开代码和模型权重，并给出从VAE、DiT去噪器到条件控制器的完整组件设计。在视频VAE方面，WF-VAE将多级Haar小波频域特征注入卷积主干，以WL损失约束能量流，Causal Cache针对分块推理的潜空间断裂给出缓存公式。在时空建模方面，Skiparse Attention用Single Skip/Group Skip在Full 3D与2+1D之间取稀疏折中，ADavg提供注意力机制比较的量化指标，表2报告k=2/4/8的ADavg。在可控生成方面，帧级图像条件控制器把图像到视频、视频过渡、视频续写纳入一个框架，结构条件控制器引入canny、depth、sketch等信号。在数据治理方面，多维数据处理器把跳切检测、运动过滤、字幕裁剪、美学/技术质量筛选和标注整合为管线，对视频生成数据构建议题有直接价值。
- 存在局限
- 该摘录只给出架构与训练设置，未报告最终定量指标、基准对比和统计显著性；摘要称有定量评价，但正文节选未呈现相应结果。消融主要集中在注意力机制的ADavg与表1、表2，对WF-VAE的WL损失、Causal Cache、条件控制器和数据管线各环节缺少受控消融数值。数据管线列出过滤与标注步骤，但未给出各数据源样本量、过滤阈值、标注一致性或人工复核结果，SAM、Anytext、Human-images、Panda70M的构成比例也未明确。条件控制器部分只展示架构示意，材料未明确给出结构控制精度、失败案例或不同掩码任务的成功率；长视频生成的时长上限与显存/推理成本关系也未量化。训练硬件仅见VAE阶段8个NPU/GPU，去噪器完整训练成本与可复现实验环境细节在节选中未明确提及。
- 进一步研究方向
- 以相同数据子集和计算预算，对WF-VAE的WL损失、Causal Cache缓存帧数与普通3D卷积做受控消融，记录重建质量、潜空间一致性和长视频分块接缝。对Skiparse Attention设置k=2/4/8并与Full 3D、2+1D、Skip+Window对照，除ADavg外记录推理耗时、显存和运动平滑度人工评分，检验稀疏率与时空建模能力的权衡。对帧级图像条件控制器设计首帧、子集帧、全帧三类掩码任务，分别评估图像到视频、视频过渡、视频续写的成功率与人工偏好，并公开失败案例。对LPIPS跳切检测及快慢动作、美学、技术质量过滤做阈值敏感性分析，抽样人工复核标注一致性，并报告各数据源保留率。发布统一评测协议、训练数据构成和完整训练日志，以便复现长时长高分辨率视频生成的定量结果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis