文本到图像生成模型的提示词工程设计方案指南
Design Guidelines for Prompt Engineering Text-to-Image Generative Models
Vivian Liu, Lydia B. Chilton
arXiv (Cornell University) · 2021-09-14
开放获取生成式与扩散大模型与语言被引 29影响因子 ≈0.2
摘要
文本到图像生成模型是一种新兴且强大的视觉艺术创作工具。然而，文本交互的开放性具有双重性：用户虽然可以输入任意内容并获得无穷无尽的生成结果，但一旦生成质量不佳，就必须通过反复试错来调整文本提示词。本研究探讨了哪些提示词关键词及模型超参数有助于产出连贯性较强的图像。具体而言，我们重点分析了包含主体与风格关键词的结构化提示词，并研究了这类提示词的成功与失败模式。在五项实验中，我们共评估了5493幅生成图像，涵盖51个抽象与具象主题以及51种抽象与具象风格。基于上述评估结果，我们提出了相应的设计方案指南，以帮助用户借助文本到图像生成模型获得更理想的作品效果。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文聚焦文本到图像生成模型中的提示工程问题，以“SUBJECT in the style of STYLE”这一在创作社群中流行的提示模板为研究对象，探讨哪些提示关键词与模型超参数有助于生成连贯输出。核心论点包括：提示中的连接词、功能词和语序等排列方式对生成质量无显著影响，用户应聚焦于主题与风格关键词；随机种子会显著影响生成质量，因此需要尝试多个种子以获得代表性结果；风格与主题作为提示参数存在成功与失败模式，且系统在不同抽象程度和文化来源的风格上可能表现出偏见。研究最终提出一套设计指南，帮助用户规避失败模式并复现成功模式。
- 研究方法
- 研究采用系列实验与人工标注相结合的方法。实验1使用VQGAN+CLIP（ImageNet预训练，16384码本）在本地NVIDIA GeForce RTX 3080 GPU上生成256x256像素、300步迭代的图像，测试12个主题（如爱、恨、男人、女人、树、狗等）与12个风格（如立体主义、浮世绘、赛博朋克、迪士尼等）组合下的9种提示排列，共生成1296张图像；两名具有媒体艺术和艺术实践背景的标注者以3×3网格随机呈现，标注显著更好或更差的异常值，采用卡方检验和Cohen’s kappa分析。实验2保持相同主题与风格，变化9个随机种子生成1296张图像，标注方法相同，采用Fisher精确检验。实验3旨在探究优化长度与生成质量的相关性，但材料中未明确提及该实验的完整生成方法、样本量及结果。实验4和5在引言中描述为分别探索51种风格（跨时间、文化、抽象程度）和51个主题（跨31种风格）的提示参数，并进行成功与失败模式的定性分析，但材料中未提供其具体实验方法与结果数据。
- 学术贡献
- 论文在理论建构层面提出了面向文本到图像生成模型的设计指南，将提示工程从自然语言处理的文本生成领域系统拓展至视觉生成领域；在方法创新层面设计了基于3×3网格随机排列与异常值标注的评估流程，用于检验提示排列、随机种子等参数对生成质量的影响；在材料发掘层面构建了包含5493次生成、覆盖51个主题与51个风格的大规模生成样本集，为后续研究提供了可参考的刺激材料与标注框架；在领域拓展层面将多模态生成模型的可解释性探测与人机交互中的创造力支持工具研究相结合，对HCI与AI交叉子领域中的提示设计、模型偏见诊断及可用性评估具有直接价值。
- 存在局限
- 实验1的Cohen’s kappa仅为0.0013，尽管标注者一致率达到71.3%，但极低的kappa值表明评分者间一致性可能主要由偶然因素贡献，统计可靠性不足；实验2的评分者间信度仅为0.13，同样属于轻微一致，作者以任务主观性为由继续分析，但标注结果的稳健性存疑。研究仅使用VQGAN+CLIP一种模型，未在其他架构（如DALL-E、扩散模型）上验证，设计指南的普适性受限。实验3的完整方法、样本量和结果在材料中未明确提及，无法评估优化长度对生成质量的实际影响。实验4和5虽声明探索51种风格与51个主题，但材料中未提供其定量结果与统计检验，仅有定性描述，导致关于风格偏见和主题-风格交互的论断缺乏充分的数据支撑。此外，所有生成固定为256x256像素、300步迭代，且标注任务仅要求判断“显著不同”而非与主题或风格的匹配度，可能偏离对生成质量的多维评估。
- 进一步研究方向
- 在多个文本到图像模型（如DALL-E、Stable Diffusion、VQGAN+CLIP的其他检查点）上重复实验1至实验5的流程，检验连接词无关性、种子效应及风格偏见是否具有跨模型一致性。完整报告实验3的优化长度实验，采用系统化的迭代次数梯度（如50、100、200、300、500步）并记录损失曲线与人工评分，以确定最优迭代范围。将主题和风格样本扩展至更多非西方、非现代及非数字原生类别，并纳入更细粒度的文化属性标注，以量化模型偏见的方向和强度。结合CLIP分数、FID等客观指标与多人标注，采用混合效应模型分析评分者间信度，减少主观性对结论的干扰。开展用户研究，让创作者在实际任务中应用这些设计指南，通过日志记录与访谈分析提示修改策略、种子搜索行为和最终作品满意度，从而验证指南在真实创作流程中的有效性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis