AnomalyDiffusion：基于扩散模型的少样本异常图像生成方法
AnomalyDiffusion: Few-Shot Anomaly Image Generation with Diffusion Model
Teng Hu, Jiangning Zhang, Ran Yi, Yuzhen Du, Xu Chen, Liang Liu, Yabiao Wang, Chengjie Wang
Proceedings of the AAAI Conference on Artificial Intelligence · 2024-03-24
摘要
异常检测在工业制造领域发挥着重要作用。由于异常数据不足，现有异常检测方法的表现存在局限。尽管已有研究者提出异常生成方法来扩充异常数据，但这类方法要么生成的图像真实性较差，要么生成的异常区域与掩码之间的对齐精度不高。为解决上述问题，本文提出AnomalyDiffusion——一种新型的基于扩散模型的少样本异常生成模型，该模型利用潜扩散模型从大规模数据集中学习到的强大先验信息，在少样本训练数据条件下仍能提升生成图像的真实性。首先，我们提出空间异常嵌入机制，该机制包含可学习的异常嵌入以及由异常掩码编码得到的空间嵌入，能够将异常信息拆解为外观特征与位置信息两部分。此外，为提高生成异常与异常掩码之间的对齐精度，我们引入了新颖的自适应注意力重加权机制：该机制基于生成异常图像与正常样本之间的差异，动态引导模型更多地关注生成异常特征不明显的区域，从而生成匹配度更高的异常图像-掩码对。大量实验结果表明，本模型在生成真实性与多样性方面均显著优于现有最先进方法，且能有效提升下游异常检测任务的表现。相关代码与数据可在https://github.com/sjtuplayer/anomalydiffusion获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对工业制造异常检测中异常数据不足的问题，指出既有异常生成方法要么生成真实性差，要么生成异常与掩码对齐不准。论文提出AnomalyDiffusion，一种基于扩散模型的少样本异常生成模型，利用从大规模数据集学习的潜在扩散模型先验提升少样本训练下的生成真实性。其核心支撑性设计包括Spatial Anomaly Embedding，将异常信息解耦为可学习的anomaly embedding与由异常掩码编码的spatial embedding，分别表示异常外观类型与位置信息。论文还提出Adaptive Attention Re-weighting Mechanism，依据生成异常图像与正常样本的差异，动态引导模型关注生成异常不显著的区域，以生成准确匹配的异常图像-掩码对。实验表明该模型在生成真实性和多样性上显著优于当时先进方法，并提升下游异常检测与定位任务，在MVTec上取得像素级99.1% AUROC和81.4% AP。
- 研究方法
- 论文以Latent Diffusion Model为生成骨架，采用blended diffusion过程，将异常生成区域限制在输入异常掩码m内，其余区域保持与正常样本y一致。在条件构造上，方法使用masked textual inversion学习anomaly embedding（k=8个token）以表示异常外观类型，并训练一个共享的spatial encoder，以ResNet-50提取掩码特征、经Feature Pyramid Networks融合和全连接层映射，输出spatial embedding（n=4个token）。在去噪过程中，Adaptive Attention Re-weighting计算当前预测图像ˆx0与正常样本在掩码内的像素级差异，通过Adaptive Scaling Softmax生成权重图，并对cross-attention map进行重加权。为扩充掩码，论文还以textual inversion学习mask embedding（k′=4个token）生成异常掩码。实验在MVTec数据集上进行，采用异常数据中最低ID的三分之一作为训练集、其余三分之二作为测试集；每类异常生成1000个异常图像-掩码对，生成评价用IS和IC-LPIPS，下游用U-Net训练并报告AUROC、AP和F1-max。
- 学术贡献
- 在方法层面，论文将潜在扩散模型的大规模数据先验、文本反演式条件学习与空间掩码编码结合，提出面向少样本工业异常生成的AnomalyDiffusion，区别于依赖随机裁剪粘贴或GAN的既有路线。Spatial Anomaly Embedding将异常外观与位置解耦，使模型可在指定位置生成指定类型异常，从而批量产生图像-掩码对，这是对异常生成可控性的方法创新。Adaptive Attention Re-weighting Mechanism通过动态重加权cross-attention，针对多区域或不规则掩码下生成异常填充不足的问题提升生成异常与掩码的对齐精度。在材料与实验层面，论文在MVTec的15个类别上给出生成质量、生成多样性和下游异常检测/定位的系统对比，报告像素级99.1% AUROC和81.4% AP，并公开代码与数据。这些贡献主要面向工业异常生成、异常定位以及少样本监督异常检测子领域。
- 存在局限
- 实验验证仅基于MVTec单一数据集，材料中未报告其他工业异常数据集或跨域场景的结果，样本代表性和外部效度受限。少样本训练集按异常数据最低ID的三分之一划分，材料中未说明是否随机抽样、是否重复实验或给出统计显著性，这可能引入类别与样本选择偏差。生成质量评价仅采用IS和IC-LPIPS，作者因异常数据有限未使用FID/KID，因而缺乏生成分布与真实异常分布距离的度量。下游任务在节选中主要展示异常检测与定位的AUROC、AP、F1-max，摘要提及异常分类任务，但节选未给出分类任务的量化结果。方法依赖输入异常掩码，掩码生成虽由文本反演学习，但训练仍来自少量真实掩码；节选仅提供去掉Adaptive Attention Re-weighting的定性对比，未给出该机制及token数设置的完整消融表。材料中未明确提及推理时间、计算成本与模型参数量。
- 进一步研究方向
- 可在MVTec之外的多类工业异常数据集上复现同一少样本协议，并改变训练异常样本比例（如更少或更多异常图像），比较生成真实性、多样性及下游AUROC、AP、F1-max，以检验跨数据集与跨样本规模泛化。可围绕Spatial Anomaly Embedding、Adaptive Attention Re-weighting和mask generation做系统消融，控制anomaly embedding token数k、spatial embedding token数n、mask embedding token数k′，并报告对齐误差与下游定位指标。可将生成的异常图像-掩码对用于异常分类任务，构建分类评测并报告分类准确率或F1，以验证摘要所称下游异常分类提升。可设计掩码多样性实验，将真实掩码与生成掩码按不同比例混合训练，量化掩码分布对生成异常与掩码对齐及下游定位的影响。可针对多异常区域、不规则掩码和小掩码等困难场景分析Adaptive Attention Re-weighting的权重图与失败案例，提出改进的权重计算或对齐损失。还可在保持生成质量前提下评估采样步数、token数与推理开销的权衡，材料中未明确提及这些成本指标。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Industrial Vision Systems and Defect Detection