基于大语言多模态模型的平面设计
Graphic Design with Large Multimodal Model
Yutao Cheng, Zhao Zhang, Maoke Yang, Hui Nie, Chunyuan Li, Xinglong Wu, Jie Shao
Proceedings of the AAAI Conference on Artificial Intelligence · 2025-04-11
开放获取美术与书法被引 10被引前 10%影响因子 ≈5.3
摘要
在平面设计领域，实现设计元素向连贯的多图层作品的自动化整合，不仅能显著提升生产效率，还能推动平面设计的普及化。现有的图形布局生成技术旨在对有序的设计元素进行排版，但这类技术受限于预先设定的正确图层顺序，从而限制了创作潜力并增加了用户的工作负担。本文提出层次化布局生成这一更为灵活且实用的方案，能够从任意顺序的设计元素集合中生成图形构图。为解决层次化布局生成任务，我们推出了Graphist——首个基于大语言多模态模型的布局生成模型。Graphist能高效地将层次化布局生成转化为序列生成问题，以RGB-A图像为输入，输出包含各元素坐标、尺寸及排列顺序的JSON草稿协议。我们针对层次化布局生成任务开发了多项评估指标，实验表明Graphist的性能优于现有方法，为该领域确立了重要的基准。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 传统的图形布局生成方法因依赖预设的图层顺序而限制了设计创意并增加用户负担。为此，本文提出了层次布局生成（HLG）任务，旨在从任意顺序的设计元素中生成视觉和谐的图形构图，同时兼顾空间排列与图层顺序。
- 研究方法
- 研究构建了首个基于大型多模态模型的布局生成模型CreatiGraphist，由RGBA编码器、视觉收缩器和LLM组成。该方法将HLG重构为序列生成问题，以RGB-A图像为输入并输出包含坐标、尺寸及顺序的JSON协议，通过三阶段训练策略并随机打乱输入元素以优化模型表现。
- 学术贡献
- 研究首次提出了更符合实际应用的HLG任务，突破了传统GLG需预设图层顺序的局限。同时开发了首个端到端的多模态布局生成模型，并设计了IOPR和GPT-4V Eval等新评估指标，在实验中超越了现有方法并确立了该领域的基准。
- 存在局限
- 尽管允许任意顺序输入提升了布局平衡和视觉吸引力，但也增加了文本层放置的复杂性，导致文本可读性得分有所降低。材料中未明确提及其他局限性。
- 进一步研究方向
- 材料中未明确提及。
本综述由 AI（GLM-5）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Digital Media and Visual Art