跳到主内容
戏剧与影视

EmoTalk：基于语音驱动的三维人脸动画情感解耦技术

EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation

Ziqiao Peng, Haoyu Wu, Zhenbo Song, Hao Xu, Xiangyu Zhu, Jun Yi Derek He, Hongyan Liu, Zhaoxin Fan

2023-10-01

订阅获取戏剧与影视被引 147

摘要

语音驱动的三维人脸动画旨在生成与语音内容及情感相匹配的逼真面部表情。然而，现有方法往往忽视情感性面部表情，或无法将其从语音内容中分离出来。为解决这一问题，本文提出一种端到端的神经网络，用于从语音中解耦不同情感以生成丰富的三维面部表情。具体而言，我们设计了情感解耦编码器（EDE），通过带有不同情感标签的交叉重构语音信号来分离语音中的情感与内容；随后采用情感引导的特征融合解码器来生成情感表现更突出的三维说话人脸。该解码器由解耦后的身份、情感及内容嵌入向量驱动，从而能够生成可控的个人风格与情感表达方式。最后，考虑到三维情感化说话人脸数据的稀缺性，我们借助面部混合变形模型的监督信息，实现从二维情感数据到逼真三维人脸的重建，并构建了一个大规模三维情感化说话人脸数据集（3D-ETF）用于网络训练。实验结果与用户调研表明，该方法优于现有最先进的技术，且能生成更具多样性的面部动作。推荐观看补充视频：https://ziqiaopeng.github.io/emotalk。

本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。

AI 综述

基于摘要生成
主要观点
本文指出当前语音驱动的3D人脸动画往往忽视情感面部表达，或难以将情感与语音内容有效分离。为解决此问题，提出一种端到端神经网络，旨在通过解缠语音中的情感信息，生成情感丰富且风格可控的3D面部动画。
研究方法
研究首先引入情感解缠编码器（EDE），通过带有不同情感标签的交叉重构语音信号来实现情感与内容的解缠。其次，采用情感引导特征融合解码器，融合解缠的身份、情感和内容嵌入以生成增强情感的3D对话人脸。最后，针对3D情感数据稀缺问题，利用面部混合变形作为监督信号从2D情感数据重建3D人脸，并构建了大规模3D情感对话人脸数据集（3D-ETF）用于模型训练。
学术贡献
本研究构建了大规模3D情感对话人脸数据集（3D-ETF），有效缓解了该领域三维情感数据稀缺的困境。实验与用户研究证明，该方法在生成情感丰富、风格可控的3D面部动画上超越了现有最优技术，显著提升了面部运动的多样性。
存在局限
材料中未明确提及
进一步研究方向
材料中未明确提及

本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

话题：Face recognition and analysis