风格化神经绘画
Stylized Neural Painting
Zhengxia Zou, Tianyang Shi, Shuang Qiu, Yi Yuan, Zhenwei Shi
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2021-06-01
摘要
本文提出了一种图像到绘画的转换方法，能够生成风格可控且生动逼真的绘画作品。与以往将此类转换视为像素级预测的图像到图像转换方法不同，我们在向量化环境中处理这一艺术创作过程，生成一系列具有物理意义的笔触参数，这些参数可进一步用于渲染。由于典型的矢量渲染器不具备可微性，我们设计了一种新型神经渲染器来模拟矢量渲染器的行为，进而将笔触参数预测转化为最大化输入图像与渲染输出之间相似度的参数搜索过程。针对参数搜索中的零梯度问题，我们从最优传输的角度提出了解决方案。我们还指出以往的神经渲染器存在参数耦合问题，因此重新设计了渲染网络，采用光栅化网络与着色网络，以更好地实现形状与颜色的分离。实验表明，该方法生成的绘画作品在整体外观与局部纹理方面均具有极高的保真度。此外，该方法还可与神经风格迁移技术联合优化，从而从其他图像中进一步提取视觉风格。相关代码及动画效果可访问https://jiupinjia.github.io/neuralpainter/查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 本文提出了一种图像到绘画的转换方法，能够在矢量化环境中生成具有可控风格的逼真绘画。与传统的像素级预测不同，该方法生成具有物理意义的笔画参数序列用于渲染。此外，该方法还能与神经风格迁移联合优化，从而进一步迁移其他图像的视觉风格。
- 研究方法
- 作者设计了一种新型神经渲染器来模拟不可微的矢量渲染器，将笔画预测转化为最大化输入与输出相似度的参数搜索过程。针对参数搜索中的零梯度问题，从最优传输视角提出了解决方案。同时，为解决以往神经渲染器的参数耦合问题，重新设计了由光栅化网络和着色网络组成的渲染网络，实现了形状与颜色的解耦。
- 学术贡献
- 本研究突破了以往图像到图像转换的像素级预测范式，在矢量化环境中实现了具有物理意义的笔画参数生成。提出的新型神经渲染器及形状与颜色解耦的设计，有效克服了不可微渲染和参数耦合的难题。实验证明该方法在绘画的全局外观和局部纹理上均实现了高保真度，并具备与神经风格迁移结合的灵活性。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis