深度动画视频插帧算法在真实场景中的应用

在动画产业中，由于手绘中间帧成本高且耗时久，卡通视频通常以较低帧率制作。因此，开发能够自动插补动画中间帧的计算模型具有重要意义。然而，现有的视频插帧方法在动画数据上的表现并不理想。与自然视频相比，动画视频具有两大特性，给帧插补带来了特殊挑战：其一，卡通画面由线条和平滑色块构成，平滑区域缺乏纹理信息，难以准确估算动画中的运动轨迹；其二，卡通通过夸张手法来呈现故事内容，部分运动轨迹呈非线性且幅度极大。本研究首次对动画视频插帧问题进行了正式定义与探讨。为应对上述挑战，我们提出了一种名为AnimeInterp的高效框架，该框架采用由粗到精的设计思路，包含两个专门模块：其一，分段引导匹配模块通过利用具有局部连贯性的色块间的全局匹配关系，解决了“纹理缺失”的问题；其二，循环流细化模块借助类Transformer架构进行递归预测，从而应对“非线性且幅度极大的运动”难题。为了支持全面的训练与评估，我们构建了大规模动画三元组数据集ATD-12K，其中包含1.2万组带有丰富标注的三元组数据。大量实验表明，我们的方法在动画视频插帧任务上的表现优于现有最先进的方法。值得注意的是，AnimeInterp在真实场景中的动画数据处理上展现出优异的感知质量与鲁棒性。相关数据集与代码已开源，地址为https://github.com/lisiyao21/AnimeInterp/。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。