扩散艺术还是数字伪造？——探究扩散模型中的数据复制现象
Diffusion Art or Digital Forgery? Investigating Data Replication in Diffusion Models
Gowthami Somepalli, Vasu Singla, Micah Goldblum, Jonas Geiping, Tom Goldstein
2023-06-01
订阅获取艺术设计被引 173
摘要
先进的扩散模型能够生成高质量且可定制的图像，因而可被应用于商业艺术与平面设计领域。但扩散模型究竟是在创作独一无二的艺术作品，还是直接复制训练集中的内容呢？本研究构建了图像检索框架，用以比对生成图像与训练样本，从而识别内容被复制的情况。我们将该框架应用于以牛津花数据集、Celeb-A数据集、ImageNet数据集以及LAION数据集等为训练集的扩散模型，探讨了训练集规模等因素对内容复制率的影响。研究还发现，包括广受欢迎的Stable Diffusion模型在内的某些扩散模型会明显照搬训练数据中的内容。项目页面：https://somepago.github.io/diffrep.html
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 扩散模型在生成高质量商业艺术图像的同时，存在直接复制训练集内容而非创造独特艺术品的风险。研究证实，包括Stable Diffusion在内的主流模型均会出现公然抄袭训练数据的现象。此外，训练集的规模等特定因素会显著影响模型的内容复制率。
- 研究方法
- 研究构建了专门的图像检索框架，用于将模型生成的图像与训练样本进行比对，从而检测内容复制现象。该方法被应用于基于Oxford flowers、Celeb-A、ImageNet和LAION等多种数据集训练的扩散模型中，以评估和量化不同条件下的数据复制情况。
- 学术贡献
- 揭示了扩散模型在艺术生成领域的“数字伪造”隐患，打破了其对独特艺术创造力的预设。提出了有效检测生成图像与训练数据之间内容复制的技术框架，为量化评估生成模型的原创性提供了新工具。系统探讨了训练集规模等变量对复制率的影响规律，深化了对扩散模型生成机制的理解。
- 存在局限
- 材料中未明确提及
- 进一步研究方向
- 材料中未明确提及
本综述由 AI（GLM-5-Turbo）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Generative Adversarial Networks and Image Synthesis