大型视觉语言模型对抗鲁棒性评估研究
On Evaluating Adversarial Robustness of Large Vision-Language Models
Yunqing Zhao, Tianyu Pang, Chao Du, Xiao Yang, Chongxuan Li, Ngai Man Cheung, Min Lin
neural information processing systems · 2023-01-01
摘要
大型视觉语言模型（如GPT-4）在响应生成任务中展现出前所未有的性能，尤其在处理视觉输入时，其交互能力比ChatGPT等大型语言模型更具创造性与适应性。然而，多模态生成机制也加剧了安全隐患：攻击者可通过细微篡改最易受攻击的模态（如视觉信息）来绕过整个系统。为此，本研究在最为贴近现实且风险极高的场景下，对开源大型视觉语言模型的鲁棒性展开评估——该场景下攻击者仅能获取系统的黑盒访问权限，旨在诱使模型输出预设的目标响应。具体而言，研究者首先针对CLIP、BLIP等预训练模型构造定向对抗样本，随后将这些样本迁移至MiniGPT-4、LLaVA、UniDiffuser、BLIP-2及Img2Prompt等其他视觉语言模型。研究还发现，通过黑盒查询这些模型可进一步提升定向规避攻击的有效性，最终生成目标响应的成功率之高令人意外。本研究结果定量揭示了大型视觉语言模型的对抗脆弱性，呼吁在其实际部署前对其潜在安全缺陷进行更全面的排查。相关代码已开源于https://github.com/yunqing-me/AttackVLM。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文的核心论断是：多模态生成在带来更强交互创造性的同时把安全风险放大到系统层面，攻击者只需操控最脆弱的模态（视觉），即可使整个大型视觉语言模型（VLM）失效。研究对象是开源大型 VLM，具体包括 MiniGPT-4、LLaVA、UniDiffuser、BLIP-2 与 Img2Prompt。作者将评估置于最现实且高风险的威胁模型下：攻击者仅拥有黑盒系统访问权限，目标是诱导模型返回攻击者指定的目标响应（targeted response）。支撑性论断涉及三个关键概念——针对 CLIP、BLIP 等预训练模型构造的目标化对抗样本、对抗样本的跨模型迁移性，以及黑盒查询对目标化逃逸效果的进一步放大；作者据此报告了意外之高的目标响应生成成功率，并主张在实践部署前更彻底地审查 VLM 的潜在安全缺陷。
- 研究方法
- 方法路径是两段式黑盒攻击流程：先对可获取内部信息的预训练模型（CLIP、BLIP）构造目标化对抗样本，再把这些对抗样本迁移到未获内部访问权的其他 VLM 上；随后利用对这些 VLM 的黑盒查询继续提升目标化逃逸的有效性。样本与材料构成为上述模型集合，评价依据是模型是否输出攻击者指定的目标响应。材料中未明确提及所用图像数据集、样本数量、评测基准，也未给出成功率的绝对数值、方差或各模型之间的逐项对比。文中另附公开代码仓库（AttackVLM），但摘要未说明实验的硬件、查询次数上限与随机种子设置。
- 学术贡献
- 贡献属于安全与鲁棒性评估层面：把对抗鲁棒性评测的对象从单模态模型和双模态检索模型推进到生成式大型 VLM，并采用仅有黑盒访问、要求生成指定目标响应的高风险威胁模型。在方法上确立了跨架构迁移的实证链条——由 CLIP、BLIP 产生的对抗样本可迁移至 MiniGPT-4、LLaVA、UniDiffuser、BLIP-2、Img2Prompt 等生成式模型。在材料与工具层面，公开代码为多模态安全子领域提供了可复现的攻击基线，并给出黑盒查询可进一步提升目标化逃逸成功率的量化证据，对 VLM 部署前的安全审查议题具有直接价值。
- 存在局限
- 材料仅说明被评估对象是开源大 VLM，未给出闭源商用模型（如摘要中提及的 GPT-4）的评估结果，结论适用范围因此限于开源模型。威胁模型要求攻击者能获得黑盒查询反馈，但摘要未说明查询预算、查询次数上限，也未说明查询受限时成功率如何退化。摘要未报告图像数据的规模、来源与筛选标准，缺少成功率的绝对值、方差与模型间差异的统计比较，量化结论难以被独立核验。文本完全未涉及防御侧实验（如对抗训练、输入净化）或鲁棒性与正常任务性能的权衡，只呈现了攻防链条中的攻击一端。目标响应由谁指定、是否施加语义合理性约束，材料中亦未明确提及。
- 进一步研究方向
- 可在同一黑盒威胁模型下补充闭源商用 VLM 的 API 评估，通过限定查询次数绘制成功率随查询预算变化的曲线，检验迁移性是否随模型规模或训练数据而变化。可对视觉编码器、投影层与语言解码器分别做消融式对抗样本构造与模块替换实验，定位决定跨模型迁移性的具体结构成分。应加入防御侧对照：对 MiniGPT-4、LLaVA 等实施对抗训练或输入侧净化，在相同目标化逃逸任务上测量攻击成功率与正常响应质量的权衡。可将框架扩展至视频、音频等输入模态与多轮对话场景，检验单轮已观察到的逃逸效果在多轮交互中被放大还是被削弱。在评测协议上，可公开标准化的图像—目标响应对集合、查询预算设定与随机种子，使成功率能在不同 VLM 之间复现比较。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Adversarial Robustness in Machine Learning