DiffusionDB：面向文本生成图像模型的大规模提示词图库数据集
DiffusionDB: A Large-scale Prompt Gallery Dataset for Text-to-Image Generative Models
Zijie J. Wang, Evan Montoya, David Munechika, Haoyang Yang, Benjamin Hoover, Duen Horng Chau
Annual Meeting of the Association for Computational Linguistics (ACL) · 2023-01-01
开放获取生成式与扩散被引 179被引前 10%影响因子 ≈3.6
摘要
该数据集由王子杰（Zijie J. Wang）、埃文·蒙托亚（Evan Montoya）、大卫·穆内奇卡（David Munechika）、杨浩阳（Haoyang Yang）、本杰明·胡佛（Benjamin Hoover）以及杜恩·霍恩·周（Duen Horng Chau）共同构建，相关成果发表于《计算语言学协会第61届年会论文集》（第1卷：长篇论文），时间为2023年。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出并发布DiffusionDB，将其定位为首个大规模文本到图像提示数据集，包含6.5TB数据、1400万张Stable Diffusion生成图像、180万条唯一提示以及真实用户指定的超参数。其核心论点是，用户难以预知模型对不同提示的反应，也难以写出能生成目标细节的提示，因此需要以人类实际使用数据来研究提示与生成模型之间的互动。作者通过句法和语义分析归纳常见提示短语、艺术与摄影等提示类别，并指出提示与生成图像在CLIP嵌入空间中分布并不完全对齐。错误分析进一步主张，负CFG scale、小step、小尺寸以及短提示、非英语提示和以表情符号为主的提示与生成失败相关。论文还提供潜在有害使用的证据，包括政治人物负面描绘、女性名人非自愿色情内容以及涉及疫苗微芯片、俄乌战争等误导性生成内容。
- 研究方法
- 数据构建上，作者使用DiscordChatExporter从Stable Diffusion官方公开Discord服务器下载聊天消息，保存为HTML，再用Beautiful Soup解析，将图像与提示、超参数、随机种子、时间戳和请求者Discord用户名映射；拼贴图用Pillow切分为单图并赋予正确元数据和唯一文件名，全部图像以无损WebP压缩。安全性处理上，作者用预训练多语言毒性模型计算提示NSFW分数，用预训练EfficientNet分类器计算图像NSFW分数，并用拉普拉斯卷积核检测已被Stable Diffusion模糊的图像并赋2.0分；另随机抽取5k图像和2k提示进行人工二分类标注，通过上采样正样本并调整召回率来评估检测器。数据组织上，图像被分入14,000个子文件夹，每文件夹含1,000张图及JSON元数据，另建Apache Parquet格式的13列元数据表。分析上，作者用Stable Diffusion同款分词器统计提示长度与75 token截断，用语言检测器识别语种，用spaCy做命名实体和名词短语抽取并以环形填充图展示短语层级，用CLIP ViT-L/14文本编码器提取768维提示嵌入，以UMAP降维、KDE等高线和TF-IDF关键词可视化语义分布。错误分析中，作者计算全部提示与图像的CLIP嵌入余弦距离，选取距离大于均值4个标准差且未被模糊的13,411个“坏”提示-图像对，并用逻辑回归、卡方检验和单尾t检验分析超参数、采样器、提示长度和语种与错误的关系。有害使用识别则使用命名实体识别和关键词搜索。
- 学术贡献
- 在材料发掘与数据集构建层面，论文公开了首个大规模文本到图像提示画廊数据集，包含1400万张图像、180万条唯一提示和真实用户超参数，并以CC0 1.0许可和开源代码发布，为文本到图像生成研究提供了此前难以获得的人类实际使用样本。在方法层面，论文将CLIP嵌入、UMAP、KDE、TF-IDF、spaCy短语抽取和交互式可视化组合起来，用于刻画提示的句法层级与语义分布，并比较提示与图像嵌入空间差异。在实证发现层面，论文定位了负CFG scale、小step、小尺寸、短提示和非英语提示等与生成失败相关的因素，并给出错误案例供检查潜在误标训练数据。在领域拓展层面，论文明确面向NLP、计算机视觉和HCI社区，提出该数据集可用于提示工程工具、解释大型生成模型、检测深度伪造和设计人-AI交互工具；对艺术相关提示词研究而言，材料中呈现了“digital painting”“oil painting”“portrait painting”等绘画风格短语和艺术家名字聚类，但未展开艺术理论层面的论证。
- 存在局限
- 样本代表性方面，数据集仅来自Stable Diffusion Version 1和官方公开Discord服务器，且只包含用户主动分享的图像，并非所有生成结果的随机样本，因此难以代表其他模型、其他平台或未分享图像的用户行为。NSFW检测方面，提示检测器精确率为0.3604、调整后召回率为0.6661，图像检测器精确率为0.315、调整后召回率为0.3037，且人工标注仅覆盖5k图像和2k提示，上采样与召回率调整、固定二值阈值可能带来偏差。错误分析方面，论文以CLIP嵌入余弦距离大于均值4个标准差定义“坏”提示-图像对，逻辑回归只报告超参数与错误可能性的负相关和相关显著性，未做因果干预，因而难以区分模型失败与语义合理差异。有害使用分析方面，论文依赖命名实体识别和关键词搜索找出政治人物、女性名人和误导性提示的例子，材料未说明对总体比例的估计或传播机制的检验。数据伦理方面，尽管Discord有禁止非法、仇恨和NSFW内容的规则，数据集仍包含未被内置过滤器或管理员移除的NSFW图像，论文仅以NSFW分数和报告移除表单缓解风险。艺术学维度方面，材料未明确提及对生成图像的审美质量、艺术风格归属、艺术家版权或同意问题的标注与分析。
- 进一步研究方向
- 可基于DiffusionDB开展受控实验：固定同一提示，系统操纵CFG scale、step、size和sampler，结合CLIP余弦距离与人工对齐/质量评分，检验这些超参数对生成失败率的因果效应。针对非英语、短提示和表情符号提示，可开发多语言提示改写或推荐工具，并在类似Discord的真实使用场景中做A/B测试，验证其是否降低提示-图像错配。可利用数据集中的NSFW分数与人工标注，训练和评估更鲁棒的提示与图像NSFW分类器，比较不同阈值下的误报与漏报，并检验Laplacian模糊检测与分类器联合过滤的效果。可围绕政治人物、女性名人、疫苗和战争等命名实体与关键词，系统审计误导性、非自愿色情和深度伪造内容的生成比例与传播路径，并据此设计检测与干预工具。还可利用CLIP/UMAP可视化中艺术、摄影和艺术家名字聚类，构建风格分类与检索基准，设计面向图像创作的提示教学界面和示例提示库。此外，论文建议用错误分析和失败案例检查潜在误标训练数据，可进一步将13,411个坏提示-图像对与训练数据审查、模型微调和边缘案例扩充连接起来。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis