多关节动画的运动表征
Motion Representations for Articulated Animation
Aliaksandr Siarohin, Oliver J. Woodford, Jian Ren, Menglei Chai, Sergey Tulyakov
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2021-06-01
摘要
我们提出了一种用于驱动由多个独立部件构成的多关节物体动画的新型运动表征方法。该方法无需任何监督信息，能够自动识别物体部件，在驱动视频中对它们进行追踪，并基于其主轴信息推断其运动状态。与以往基于关键点的研究方法不同，该方法能够提取出具有语义关联且连贯一致的区域，用以描述这些区域的位置、形状和姿态。这些区域对应着语义上相关且独立的物体部件，在驱动视频的帧中更容易被检测出来。为了实现前景与背景的解耦，我们通过额外的仿射变换来建模与物体无关的整体运动。为了便于动画生成并防止驱动物体的形状信息泄露，我们在区域空间中将物体的形状与姿态分离。我们的模型1能够驱动多种物体的动画制作，在现有基准测试中表现远超以往方法。我们构建了一个包含高分辨率视频的全新挑战性基准测试集，结果表明，当涉及多关节物体时，该方法的优势尤为明显，其用户偏好度达到了96.6%，远超现有技术水平。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 本文提出了一种针对铰接式物体动画的新型运动表示方法，以无监督方式识别物体部件并利用主轴推断其运动。该方法摒弃了传统基于关键点的思路，转而提取包含位置、形状和姿态的语义一致区域。同时，通过额外仿射变换建模非物体相关的全局背景运动，并在区域空间中解耦物体的形状与姿态，从而有效防止驱动对象的形状泄漏到生成结果中。
- 研究方法
- 研究采用自监督与无监督学习框架，利用重构损失和等变性损失进行端到端优化。在运动估计上，对预测的热力图进行主成分分析（PCA）以直接测量运动参数，取代了传统的网络回归方式。针对背景运动，设计独立编码器预测全局仿射变换；为实现形状与姿态解耦，构建了独立的编码器与解码器，并在训练阶段对驱动运动施加随机缩放变形以强制网络分离形状与姿态信息。
- 学术贡献
- 本文基于区域和PCA的运动表示克服了关键点法难以捕捉物体内部运动的缺陷，显著提升了模型收敛性与运动分割效果。显式建模背景运动避免了前景关键点被背景干扰，形状与姿态解耦机制则大幅提升了动画的保真度。此外，研究构建了包含高分辨率视频的TED演讲新基准数据集，实验表明该方法在铰接物体动画上以96.6%的用户偏好度大幅超越现有技术。
- 存在局限
- 该方法基于PCA的运动变换无法捕捉剪切变形，仅具有五个自由度而非完整的仿射变换，在理论上限制了运动表示的完整性。此外，尽管实验表明背景网络未将前景纳入背景运动，但在无监督设定下网络仍存在将部分前景误认为背景的潜在风险。
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5.1）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis