AnomalyGPT：基于大视觉语言模型的工业异常检测
AnomalyGPT: Detecting Industrial Anomalies Using Large Vision-Language Models
Zhaopeng Gu, Bingke Zhu, Guibo Zhu, Yingying Chen, Ming Tang, Jinqiao Wang
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
摘要
大型视觉语言模型（如MiniGPT-4和LLaVA）已展现出理解图像的能力，并在各类视觉任务中取得优异表现。尽管这类模型因训练数据量庞大而具备较强的常见物体识别能力，但缺乏特定领域的专业知识，对物体内部局部细节的理解也较为薄弱，这限制了其在工业异常检测任务中的应用效果。另一方面，现有多数工业异常检测方法仅能输出异常评分，还需人工设定阈值来区分正常样本与异常样本，从而制约了其实际落地应用。本文探讨了利用大视觉语言模型解决工业异常检测问题的路径，提出了一种基于该类模型的新型工业异常检测方法——AnomalyGPT。我们通过模拟异常图像并为其生成对应的文本描述来构建训练数据，同时采用图像解码器提取细粒度的语义信息，并设计提示词学习器借助提示词嵌入对大视觉语言模型进行微调。AnomalyGPT无需人工调整阈值，可直接评估异常的存在情况与具体位置。此外，AnomalyGPT支持多轮对话功能，展现出出色的少样本上下文学习能力；仅需一个正常样本作为训练数据，该模型在MVTec-AD数据集上的准确率即可达到86.1%，图像级AUC值为94.1%，像素级AUC值更是高达95.3%，性能处于业界领先水平。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对工业异常检测（IAD）中现有方法仅输出异常分数并依赖人工设定阈值、而通用大型视觉语言模型（LVLMs）缺乏领域知识和对物体局部细节敏感性的问题，提出AnomalyGPT。其核心论点是，通过模拟异常图像并生成对应文本描述，结合图像解码器提供细粒度语义，以及用prompt embeddings微调LVLM，可将IAD知识注入模型。AnomalyGPT无需人工阈值调整即可直接判断异常是否存在并定位异常位置，同时支持多轮对话和少样本上下文学习。在MVTec-AD数据集上，仅用一个正常样本时，AnomalyGPT取得86.1%准确率、94.1%图像级AUC和95.3%像素级AUC，作者称其达到当时最优性能。
- 研究方法
- 研究采用模型构建与基准实验相结合的技术路径。模型以ImageBind-Huge为图像编码器、Vicuna-7B为推理LLM，用线性层连接，并基于PandaGPT预训练参数初始化。方法引入轻量级视觉-文本特征匹配解码器，在无监督设置下计算中间层patch特征与正常/异常文本特征的相似度，在少样本设置下通过正常样本记忆库计算查询patch与其最近邻的距离，从而生成像素级定位结果。prompt learner将定位结果和可学习基础prompt embeddings转换为LLM输入；训练数据由NSA方法结合Cut-paste与Poisson图像编辑模拟异常，并生成包含图像描述与“是否存在异常”等问答的文本。实验在MVTec-AD和VisA数据集上进行，以图像级AUC、像素级AUC和图像级准确率评价，训练使用2张RTX-3090、50个epoch、学习率1e-3、batch size 16，并交替使用PandaGPT预训练数据与异常图文数据，仅更新解码器和prompt learner。
- 学术贡献
- 论文首次将LVLM用于IAD任务，在理论层面提出以模拟异常图文数据、图像解码器和prompt embeddings将工业异常检测知识注入LVLM的框架。其解码器针对LLM细粒度语义辨别较弱且仅能输出文本的限制，提供了像素级异常定位输出，属于方法创新。通过prompt embeddings微调并交替使用预训练数据，论文在不破坏LVLM原有能力的前提下实现多轮对话，同时支持对新数据集进行少样本上下文学习。论文在MVTec-AD和VisA上给出无监督与1/2/4-shot的系统结果和模块消融，对工业异常检测中的少样本迁移、无阈值判断和视觉语言模型领域适配等议题具有直接价值。
- 存在局限
- 训练中的异常样本由NSA、Cut-paste与Poisson图像编辑模拟生成，材料未明确讨论模拟异常与真实工业缺陷之间的分布差距及其对判别的影响。语言层面的异常定位依赖3×3图像网格，空间粒度较粗，可能限制对话中位置描述的精细程度。少样本跨数据集迁移时，VisA上的准确率为77.4%–77.7%，明显低于MVTec-AD上的84.8%–86.1%，跨域泛化表现不均衡。无监督设置下像素级AUC为93.1%，低于同设置UniAD的96.8%，说明像素级定位精度仍有不足。多轮对话能力主要见于定性示例，材料未提及对多轮对话一致性、追问正确率等指标的量化评估；实验也仅覆盖MVTec-AD和VisA两个数据集，材料未提及其他工业场景或三维/多模态缺陷的验证。
- 进一步研究方向
- 可采集真实工业缺陷样本，设计模拟异常与真实异常的混合训练和域差距量化实验，并比较Cut-paste、Poisson编辑、NSA等不同模拟策略对MVTec-AD和VisA检测性能的影响。针对3×3网格定位粒度，可研究更细粒度网格、坐标回归或分割掩码到文本的映射方法，并评测语言定位结果与解码器像素定位的一致性。针对VisA迁移准确率偏低，可开展跨数据集域适应实验，或系统改变in-context样本数量与类别提示设计，验证其能否缩小VisA与MVTec-AD的性能差距。针对无监督像素级AUC低于UniAD，可改进解码器的多尺度特征匹配与正常/异常文本语义对齐，并通过消融实验检验各中间层特征和损失函数的贡献。还可基于MVTec-AD和VisA构建多轮对话异常检测评测集，量化模型在追问异常数量、位置和类型时的准确性与一致性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Industrial Vision Systems and Defect Detection