描绘你的艺术梦想：基于多模态引导扩散的多样化数字艺术创作
Draw Your Art Dream: Diverse Digital Art Synthesis with Multimodal Guided Diffusion
Nisha Huang, Fan Tang, Weiming Dong, Changsheng Xu
Proceedings of the 30th ACM International Conference on Multimedia · 2022-10-10
开放获取美术与书法被引 49影响因子 ≈0.0
摘要
数字艺术合成因能有效吸引公众参与艺术活动，正日益受到多媒体领域的关注。现有的数字艺术合成方法通常仅采用单模态输入作为引导，这限制了模型的表达能力与生成结果的多样性。为解决这一问题，我们提出了多模态引导艺术品扩散（MGAD）模型，这是一种基于扩散机制的数字艺术品生成方法，利用多模态提示词来调控无分类器扩散模型。此外，研究还借助对比语言-图像预训练（CLIP）模型来实现文本与图像模态的统一。针对生成数字美术作品的质量与数量开展的大量实验，证实了扩散模型与多模态引导相结合的有效性。相关代码可在https://github.com/haha-lisa/MGAD-multimodal-guided-artwork-diffusion获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 当前数字艺术合成方法多依赖单模态输入，限制了模型的表现力与生成结果的多样性。引入多模态引导机制能够有效突破这一局限，提升数字艺术生成的多样性与质量。
- 研究方法
- 提出多模态引导艺术作品扩散（MGAD）模型，利用多模态提示控制无分类器扩散模型进行数字艺术生成。采用对比语言-图像预训练（CLIP）模型对文本与图像模态进行统一。通过大量定性与定量实验验证了该方法的有效性。
- 学术贡献
- 突破了现有数字艺术合成仅依赖单模态引导的局限，增强了模型的表现力。证实了扩散模型与多模态引导相结合在数字艺术生成领域的有效性，并开源了相关代码。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis