《SneakyPrompt：破解文本生成图像的模型》
SneakyPrompt: Jailbreaking Text-to-image Generative Models
Yuchen Yang, Bo Hui, Haolin Yuan, Neil Zhenqiang Gong, Yinzhi Cao
arXiv (Cornell University) · 2023-05-20
摘要
本研究针对Stable Diffusion、DALL·E等文本生成图像模型可能产出不适宜工作场合观看（NSFW）的有害图像这一伦理问题展开探讨。为解决此类伦理隐患，业界通常采用安全过滤器来阻止NSFW图像的生成。在此背景下，本研究提出了SneakyPrompt——首个用于破解文本生成图像模型的自动化攻击框架，即便模型启用了安全过滤器，该框架也能使其生成NSFW图像。对于被安全过滤器拦截的提示词，SneakyPrompt会反复向文本生成图像模型发起查询，并根据查询结果对提示词中的词元进行针对性扰动，从而绕过安全过滤机制。具体而言，SneakyPrompt借助强化学习来指导词元的扰动过程。实验结果表明，SneakyPrompt能够成功破解配备闭源安全过滤器的DALL·E 2模型，促使其生成NSFW图像。此外，研究者还将多种前沿的开源安全过滤器部署于Stable Diffusion模型上开展测试，结果显示SneakyPrompt不仅能顺利生成NSFW图像，在破解文本生成图像模型的效果上，无论是所需查询次数还是生成的NSFW图像质量，均优于现有的文本对抗攻击方法。SneakyPrompt已开源，相关代码可在\url{https://github.com/Yuchen413/text2image_safety}获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文提出SneakyPrompt，旨在对文本到图像生成模型的安全过滤器进行越狱，使DALL·E 2、Stable Diffusion等在部署安全过滤器后仍生成NSFW图像。核心洞见是：在给定被拦截的NSFW提示词中，搜索替代词元以替换敏感词元，同时保持提示词语义及后续生成NSFW图像的视觉语义。论文将对抗性提示词定义为相对于敏感目标提示词的概念，需同时满足绕过安全过滤器F(M, pa)=0与生成图像M(pa)在视觉语义上接近M(pt)两个条件。论文提出安全过滤器分类：基于文本、基于图像、基于文本-图像三类，并据此刻画DALL·E 2、Stable Diffusion等模型的过滤机制。威胁模型设定攻击者仅能闭盒查询在线模型且查询次数受限，同时可无限次查询本地影子文本编码器；攻击场景分为一次性攻击与重用攻击。论文主张基于强化学习引导词元扰动，以语义相似度与绕过成功为奖励，在满足语义保持的同时最小化在线查询次数。
- 研究方法
- 方法路径为六步流水线：先由预定义NSFW词表或文本NSFW分类器定位目标提示词中n个敏感词元，再用m个非敏感替换词元构造对抗性提示词，搜索空间限定为CLIP词表中长度不超过l的词元。离线查询影子文本编码器获得目标提示词嵌入，在线查询文本到图像模型获得安全过滤器判定F(M, pa)与生成图像M(pa)，若被拦截则重复采样替换词元。成功绕过之后，使用CLIP图像编码器计算生成图像嵌入与目标提示词嵌入的余弦相似度，归一化为[0,1]，当相似度不低于阈值δ时停止，否则继续查询直至达到最大查询数Q。论文设置启发式搜索基线SneakyPrompt-base，包括beam、greedy和brute force等策略；高级方法SneakyPrompt-RL使用强化学习智能体，依据绕过结果与相似度奖励更新策略网络。评估在DALL·E 2闭盒安全过滤器与Stable Diffusion配合多个开源安全过滤器上进行，并与TextBugger、Textfooler、BAE及对抗性提示等既有文本对抗攻击比较。比较指标包括查询次数与生成NSFW图像质量；材料称SneakyPrompt在两项指标上优于既有文本对抗攻击，并已开源代码仓库。
- 学术贡献
- 理论建构层面，论文给出安全过滤器的三分类框架，并形式化定义对抗性提示词，为文本到图像模型安全过滤研究提供概念工具。方法创新层面，论文设计并实现SneakyPrompt，将强化学习用于搜索替换词元，同时给出beam、greedy、brute force等启发式基线，形成可比较的搜索策略族。材料发掘与实证层面，论文在DALL·E 2闭盒安全过滤器与Stable Diffusion的多个开源安全过滤器上开展评估，展示了对NSFW内容生成的实际越狱效果。领域拓展层面，该工作将文本对抗攻击从分类模型误导拓展到文本到图像模型安全过滤器绕过，并关注生成图像质量与查询成本，对AI安全、红队测试与生成模型滥用风险议题有直接价值。论文公开开源仓库，并向OpenAI与Stability AI披露发现、与IRB讨论并获得豁免决定，对攻击研究的伦理披露实践有示范意义。
- 存在局限
- 论文自行提出安全过滤器分类法，材料明确说明“没有现有文档”可依，因此该分类是否覆盖实际部署的过滤器类型与判定逻辑，材料未提供验证。评估模型限于DALL·E 2与Stable Diffusion；Midjourney、Imagen等虽在背景中提及，但材料未明确纳入实验，跨模型泛化性缺乏直接证据。攻击依赖本地影子文本编码器；对DALL·E 2需用开源CLIP-ViT-L/14近似闭源CLIP-ViT-H/16，材料以“可迁移性假设”处理，未给出该假设成立程度的直接检验。语义保持以CLIP图像嵌入与目标文本嵌入的余弦相似度作为代理指标，材料未明确提及人类评估或NSFW语义的人工判定，指标与人类感知可能不一致。搜索空间将替换词元限制为CLIP词表中长度不超过l的词元，可能排除长度更长的有效替换词元，影响绕过率与查询效率。研究聚焦NSFW图像生成，对安全过滤器所列的仇恨、骚扰、政治、自残等其他敏感类别未在材料中展示系统评估；防御方对SneakyPrompt的检测与缓解也未在材料中评估。
- 进一步研究方向
- 建立可公开审计的安全过滤器分类与标注规范，覆盖DALL·E 2、Midjourney、Imagen等在线闭盒模型，统一测量各类敏感内容下的绕过率、查询成本与图像质量。设计人类被试评估，将CLIP余弦相似度与人工评定的NSFW语义保持度、图像可用性对照，检验代理指标与人类判断的偏差。系统变换影子文本编码器与目标文本编码器的组合，例如不同CLIP架构与参数规模，量化迁移性假设对查询次数、绕过成功率和图像语义的影响。将SneakyPrompt扩展到仇恨、骚扰、政治、自残等非NSFW敏感类别，并测试多语言或跨语言替换词元，比较不同类别与语种下的攻击难度。研究针对该攻击的防御路径，如安全过滤器集成、对抗训练、异常词元扰动检测与查询行为限流，并以SneakyPrompt为攻击基准评估防御效果。在相同查询预算与词元搜索空间下，系统比较强化学习策略与beam、greedy、brute force等启发式基线的收敛速度、奖励设计与最终图像质量，明确RL增益边界。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning