Paint Transformer：基于笔画预测的前馈神经绘画模型
Paint Transformer: Feed Forward Neural Painting with Stroke Prediction
Songhua Liu, Tianwei Lin, Dongliang He, Fu Li, Ruifeng Deng, Xin Li, Errui Ding, Hao Wang
2021 IEEE/CVF International Conference on Computer Vision (ICCV) · 2021-10-01
摘要
神经绘画是指针对给定图像生成一系列笔画，并利用神经网络对其进行非照片级逼真再现的过程。虽然基于强化学习（RL）的智能体能够逐步生成用于该任务的笔画序列，但训练出稳定的强化学习智能体并非易事。另一方面，笔画优化方法需要在庞大的搜索空间中迭代寻找一组最优笔画参数，其低效性严重制约了这类方法的普及与应用。与以往方法不同，本文将该任务转化为集合预测问题，并提出了一种基于Transformer的新型框架——Paint Transformer，借助前馈网络来预测笔画集的参数。借此，该模型可并行生成一组笔画，进而在近乎实时的时间内产出尺寸为512×512的最终绘画作品。尤为重要的是，由于目前尚无可用于训练Paint Transformer的数据集，我们设计了自训练流程，使其无需依赖现成数据集即可训练，同时仍能具备出色的泛化能力。实验表明，相较于以往方法，该方法在绘画效果上表现更优，且训练和推理成本更低。相关代码与模型可在https://github.com/wzmsltw/PaintTransformer获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文将神经绘画任务重新表述为集合预测问题，并提出基于Transformer的Paint Transformer框架。该框架通过前馈网络预测笔画集合参数，实现了笔画的并行生成，从而克服了传统强化学习方法训练不稳定以及笔画优化方法搜索效率低下的缺陷。
- 研究方法
- 研究采用基于Transformer的前馈网络架构来并行预测一组笔画参数。针对训练数据缺失的问题，作者设计了一种自训练流水线，使模型无需依赖任何现成数据集即可进行训练并保持良好的泛化能力。
- 学术贡献
- 该方法显著提升了神经绘画的效率，能够以接近实时的方式生成512×512分辨率的画作。实验表明，该模型在大幅降低训练与推理成本的同时，取得了优于以往方法的绘画性能和泛化能力。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis