《Bailando：基于演员-评论家GPT与编舞记忆的3D舞蹈生成》
Bailando: 3D Dance Generation by Actor-Critic GPT with Choreographic Memory
Siyao Li, Weijiang Yu, Tianpei Gu, Chunze Lin, Quan Wang, Chen Qian, Chen Change Loy, Ziwei Liu
2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) · 2022-06-01
摘要
驱动3D角色依据音乐进行舞蹈极具挑战性，因为编舞规范会对动作姿态施加空间限制。此外，生成的舞蹈序列还需与不同音乐类型保持时间上的连贯性。为应对这些难题，我们提出了一种新颖的音乐转舞蹈框架——Bailando，该框架包含两大核心组件：其一为编舞记忆模块，能够将3D姿态序列中的有意义舞蹈单元提炼并编码为量化码本；其二为演员-评论家式生成预训练Transformer（GPT），负责将这些单元组合成与音乐契合流畅的舞蹈。借助所习得的编舞记忆，舞蹈生成过程可在符合高标准编舞要求的量化单元上展开，从而确保生成的舞蹈序列受限于既定的空间约束之内。为实现不同动作节奏与音乐节拍的同步对齐，我们在GPT中引入了基于演员-评论家的强化学习机制，并设计了全新的节拍对齐奖励函数。在标准基准测试上的大量实验表明，我们所提出的框架在定性与定量评估中均取得了最优性能。值得注意的是，所习得的编舞记忆能够以无监督方式识别出人类可理解的舞蹈风格姿态。相关代码与视频演示可访问https://github.com/lisiyao21/Bailando/查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 3D舞蹈生成面临编舞规范的空间约束与音乐节拍的时间连贯性双重挑战。该研究提出Bailando框架，通过引入编舞记忆和演员-评论家GPT两个核心组件来应对这些挑战。该框架旨在生成既符合高编舞标准空间约束，又能在时间上与不同音乐节拍精准对齐的连贯舞蹈序列。
- 研究方法
- 该研究采用编舞记忆机制，将3D姿态序列总结为量化码本中的有意义舞蹈单元，以约束生成姿态的空间规范性。同时，利用演员-评论家生成式预训练变换器（GPT）将这些舞蹈单元组合成流畅的序列。此外，引入基于演员-评论家的强化学习方案及新设计的节拍对齐奖励函数，以实现动作节奏与音乐节拍的同步对齐。
- 学术贡献
- 该框架在标准基准测试的定性和定量评估中均取得了最优性能，显著提升了3D舞蹈生成的质量。其提出的编舞记忆机制能够在无监督条件下发现具有人类可解释性的舞蹈风格姿态，为理解舞蹈动作单元提供了新视角。此外，该研究开源了代码与视频演示，促进了该领域的可复现性与后续研究。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Human Motion and Animation