基于协同训练与迁移的条件化StyleGAN2的京剧脸谱风格化特征合成
Styled and characteristic Peking opera facial makeup synthesis with co-training and transfer conditional styleGAN2
Yinghua Shen, Oran Duan, Xiaoyu Xin, Ming Gao Yan, Zhe Li
Heritage Science · 2024-10-14
开放获取戏曲与曲艺被引 9学科公认顶刊影响因子 ≈11.9
摘要
在文化与科技深度融合的背景下，非物质文化遗产数字化研究与实践持续深入。然而，受数据与训练样本匮乏的限制，将人工智能应用于文化遗产保护领域仍面临巨大挑战。本文将图像生成技术融入京剧脸谱的数字化保护工作，利用自建的京剧脸谱数据集，以StyleGAN2网络为基础，提出了一种风格生成协同训练网络Co-StyleGAN2：该网络引入了自适应数据增强（ADA）机制以缓解判别器过拟合问题，同时采纳协同训练思路来稳定训练过程。在此基础上，我们进一步设计了从无条件生成网络迁移而来的京剧脸谱图像转换条件化生成网络TC-StyleGAN2：固定无条件预训练模型的权重，添加自适应滤波调制模块对类别参数进行调控，从而实现从无条件到条件化StyleGAN2的转换，以解决有限数据条件下条件生成对抗网络易出现的模式崩溃问题。实验结果表明，所提出的训练策略优于对比算法，图像生成的质量与多样性均得到显著提升。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文主张将人工智能图像生成技术应用于非遗京剧脸谱的数字化保护，以应对该领域因数据匮乏而导致的AI应用困境。研究认为，通过改进生成对抗网络的训练策略与网络结构，能够有效克服有限数据条件下的模型训练难题，从而提升特定风格与类别京剧脸谱的生成质量与多样性。
- 研究方法
- 研究基于自建的京剧脸谱数据集，以StyleGAN2为基础架构提出两种改进网络：Co-StyleGAN2和TC-StyleGAN2。前者引入协同训练思想以稳定训练过程，并集成自适应数据增强（ADA）以缓解判别器过拟合；后者通过固定无条件预训练模型权重并增加自适应滤波调制模块，实现从无条件到条件生成的网络转换，以应对有限数据下条件GAN的严重模式崩溃问题。
- 学术贡献
- 本研究为非物质文化遗产的数字化保护提供了一种将AI图像生成技术深度融入的创新路径。针对小样本数据集的痛点，所提出的协同训练与条件迁移生成策略有效突破了有限数据下生成模型易过拟合和模式崩溃的瓶颈，实验证明其在生成质量与多样性上优于现有对比算法。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Face recognition and analysis