FT-GAN：面向中国戏曲合成的细粒度曲调建模方法
FT-GAN: Fine-Grained Tune Modeling for Chinese Opera Synthesis
Meizhen Zheng, Peng Bai, Xiaodong Shi, Xun S. Zhou, Yiting Yan
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
开放获取戏曲与曲艺被引 9被引前 10%影响因子 ≈5.3
摘要
尽管近年来歌声合成技术取得了显著进展，但中国戏曲因其独特的风格与多样的品类而需要得到更多关注，不过受限于训练数据匮乏及高表现力需求，相关研究仍十分有限。在本研究中，我们构建了一个高质量的歌仔戏（流行于福建和台湾地区的中国戏曲类型）音频-文本对齐数据集，并制定了适用于中国戏曲的特定数据标注方法。基于对中国戏曲与流行歌曲差异的实证分析，我们提出了FT-GAN——一种用于中国戏曲合成中细粒度曲调建模的声学模型。为了进一步提升合成戏曲的质量，我们提出了一种用于注入额外知识的语音预训练策略。实验结果表明，在歌仔戏合成任务中，FT-GAN的表现优于现有的先进歌声合成基线模型。进一步实验还证实，FT-GAN在京剧等其他戏曲类型的合成任务中同样表现出色。音频样本、数据集及代码可在https://zhengmidon.github.io/FTGAN.github.io/获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 中国戏曲合成因数据稀缺和高表现力需求而面临挑战，其复杂的节奏变化和细粒度曲调特征（如滑音和长音素）区别于流行歌曲。为此，作者提出FT-GAN声学模型，通过细粒度曲调建模和语音预训练策略，提升戏曲合成的质量与鲁棒性。
- 研究方法
- 研究构建了歌仔戏音文对齐数据集，并设计了元音变形和花腔两种标注策略以精确对齐戏曲数据。模型采用条件器整合多维度输入，结合Conformer和多种GAN判别器进行对抗训练，并利用抓取的闽南语语音数据进行预训练以注入额外知识。
- 学术贡献
- 研究构建了首个精确标注的歌仔戏音文对齐数据集，支持歌词、角色和曲调等多维度可控性。提出的FT-GAN模型和预训练策略在细粒度曲调建模上优于基线模型，且在京剧等其他戏曲合成任务中验证了良好的泛化性与有效性。
- 存在局限
- 受限于时间与人工成本，研究未能收集更多歌仔戏数据，且录音仅使用手机和耳机而非专业设备。实验中音频采样率设置为24kHz，未能实现原始的48kHz采样率合成。材料中未明确提及模型在处理其他极端方言或非中文戏曲时的局限性。
- 进一步研究方向
- 材料中明确提及将48kHz采样率的戏曲合成作为未来的研究方向。材料中未明确提及其他具体的进一步研究方向。
本综述由 AI（GLM-5）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Music Technology and Sound Studies