音乐驱动下的群体编舞
Music-Driven Group Choreography
Nhat Le, Thang Pham, Tuong Do, Erman Tjiputra, Quang D. Tran, Anh Quoc Nguyen
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2023-06-01
摘要
音乐驱动的编舞是一项具有广泛工业应用价值的难题。近年来，已有诸多方法被提出用于根据音乐为单个舞者生成舞蹈动作，但为群体生成舞蹈动作仍是一个尚未解决的课题。在本文中，我们推出了AIOZ-GDANCE——一个全新的大规模音乐驱动群体舞蹈生成数据集。与仅支持单人舞蹈的现有数据集不同，该数据集包含群体舞蹈视频，从而为群体编舞研究提供支持。我们提出了一种有人参与干预的半自动标注方法，以获取该数据集的三维基准数据。该数据集包含来自自然场景视频的16.7小时配对音乐与三维动作数据，涵盖了7种舞蹈风格和16种音乐类型。研究表明，直接套用单人舞蹈生成技术来创作群体舞蹈动作会导致效果欠佳，比如动作不协调以及舞者之间发生碰撞等问题。基于这一新数据集，我们提出了一种新方法，该方法以音乐序列和舞者的三维位置信息为输入，能够高效生成多个群体协调一致的编舞方案。我们还提出了用于评估群体舞蹈质量的新指标，并通过大量实验验证了该方法的有效性。该项目将为未来群体舞蹈生成领域的研究提供便利，相关资源可在https://aioz-ai.github.io/AIOZ-GDANCE/获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 现有的音乐驱动编舞研究多集中于单人，直接套用单人技术生成群舞会导致动作不一致及舞者间碰撞。因此，亟需专门针对群舞特性的数据集与生成方法，以实现音乐驱动的多人群舞协调生成。
- 研究方法
- 采用人在回路的半自主标注方法从野外视频中提取3D动作真值，构建大规模音乐与3D动作配对数据集。提出一种以音乐序列和舞者初始3D位置集合为输入的生成方法，以高效产出群舞协调的编舞动作。设计了衡量群舞质量的新评估指标，并通过大量实验验证方法的有效性。
- 学术贡献
- 构建了首个支持音乐驱动群舞生成的大规模数据集（AIOZ-GDANCE），填补了现有数据集仅支持单人舞蹈的空白。提出了一种能高效生成多人群舞协调动作的新方法，解决了单人技术迁移带来的动作不一致与碰撞问题。创新性地提出了群舞质量评估指标，为该领域的量化研究提供了新基准。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Human Motion and Animation