FineDance：面向三维全身舞蹈生成的细粒度编舞数据集
FineDance: A Fine-grained Choreography Dataset for 3D Full Body Dance Generation
Ronghui Li, Junfan Zhao, Yachao Zhang, Mingyang Su, Zeping Ren, Han Zhang, Yansong Tang, Xiu Li
2023-10-01
摘要
根据给定的音乐生成全身多类型舞蹈序列是一项极具挑战性的任务，其原因在于现有数据集的局限性，以及手部动作的细粒度特征与舞蹈类型的复杂性。为解决这些问题，我们提出了FineDance数据集，该数据集包含14.6小时的音乐-舞蹈配对数据，涵盖了细粒度的手部动作、22种舞蹈类型以及精确的姿态信息。据我们所知，FineDance是目前规模最大的、涵盖舞蹈类型最多的音乐-舞蹈配对数据集。此外，针对以往方法生成的舞蹈存在手部动作单调且不自然的问题，我们提出了一种全身舞蹈生成网络，该网络利用扩散模型的多样化生成能力来解决动作单调问题，同时借助专家网络来修正不真实的动作。为了进一步提升生成舞蹈的类型匹配度与长期稳定性，我们提出了一种兼顾类型匹配性与连贯性的检索模块。此外，我们还提出了一种名为“类型匹配度评分”的新评价指标，用于衡量舞蹈与音乐之间的类型契合程度。定量与定性实验均验证了FineDance数据集的质量以及FineNet模型的领先性能。FineDance数据集及更多定性样本可在相关网站查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 现有数据集和方法的局限性制约了从音乐生成精细的3D全身舞蹈序列。作者提出构建大规模、细粒度的FineDance数据集以解决数据匮乏问题，并设计全身舞蹈生成网络以克服以往手部动作单调和不真实的缺陷。同时，通过引入检索模块和新评价指标，进一步提升了生成舞蹈的舞种匹配度与长期连贯性。
- 研究方法
- 首先，构建了包含14.6小时配对数据、涵盖22种舞种且具备精细手部动作与准确姿态的FineDance数据集。其次，设计基于扩散模型的全身舞蹈生成网络，结合专家网络确保动作的真实性与多样性。最后，提出舞种与连贯感知检索模块以增强长时稳定性，并引入“舞种匹配分数”新指标，通过定性与定量实验进行验证。
- 学术贡献
- 构建了目前规模最大、舞种最丰富的音乐-舞蹈配对数据集，填补了细粒度手部动作与多舞种数据的空白。提出的全身舞蹈生成网络在解决手部动作单调与失真问题上取得了领先性能。此外，首创了“舞种匹配分数”评价指标，为舞蹈与音乐的风格一致性评估提供了新标准。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Human Pose and Action Recognition