基于笔触的神经绘画方法与动态预测绘图区域的风格化技术
Stroke-based Neural Painting and Stylization with Dynamically Predicted Painting Region
Teng Hu, Ran Yi, Haokun Zhu, Liang Liu, Jinlong Peng, Yabiao Wang, Chengjie Wang, Lizhuang Ma
ACM International Conference on Multimedia (ACM MM) · 2023-10-26
摘要
现有基于笔触的渲染技术试图通过一系列笔触来重现图像，而大多数方法采用均匀分块策略处理复杂图像，由此会产生边界不连贯的缺陷。为解决这一问题，本文提出了一种名为Compositional Neural Painter的全新基于笔触的渲染框架，该框架不再对图像平面进行均匀分割，而是根据当前画布动态预测下一个绘图区域。该方法从空白画布出发，将绘图过程划分为多个步骤：在每个步骤中，首先由经过阶段性强化学习策略训练的组合网络预测下一个绘图区域，随后由经过WGAN鉴别器训练的绘制网络确定笔触参数，最后由笔触渲染器将对应笔触绘制到当前画布的指定区域。此外，研究还通过一种新型的可微分距离变换损失函数将该方法拓展至基于笔触的风格迁移领域，以此在实现风格化处理的同时保留输入图像的结构特征。大量实验结果表明，该模型在基于笔触的神经绘画及风格化任务中的表现均优于现有方法。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 针对现有基于块划分策略导致边界不一致的问题，提出了一种基于动态预测绘画区域的Compositional Neural Painter框架。该方法从空白画布开始，通过分步过程动态预测下一个绘画区域，而非均匀划分图像平面。此外，还扩展了该方法以实现基于笔画的风格迁移，并引入了可微距离变换损失以保持输入图像的结构。
- 研究方法
- 采用分步绘画流程，在每个步骤中首先利用相位强化学习策略训练的组合器网络预测下一个绘画区域，随后利用WGAN判别器训练的画家网络预测笔画参数。通过笔画渲染器将笔画绘制到当前画布的预测区域上，并在风格迁移中引入可微距离变换损失。
- 学术贡献
- 提出了一种新颖的动态预测绘画区域策略，有效解决了复杂图像渲染中的边界不一致伪影问题。开发了Compositional Neural Painter框架，实现了从空白画布开始的分步绘画过程。通过引入可微距离变换损失，成功将方法扩展至基于笔画的风格迁移任务，并显著优于现有模型。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（glm-4.7-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis