基于视觉语言模型的开集物体检测提示词学习
Learning to Prompt for Open-Vocabulary Object Detection with Vision-Language Model
Yu Du, Fangyun Wei, Zihe Zhang, Miaojing Shi, Yue Gao, Guoqi Li
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2022-06-01
摘要
近年来，视觉语言预训练在开集物体检测领域展现出巨大潜力，这类检测方法利用在基础类别上训练的探测器来识别新类别物体。具体流程为：先将提示词输入预训练视觉语言模型的文本编码器以生成类别文本嵌入，再将其作为区域分类器来指导探测器的训练。该模型取得成功的关键在于合适的提示词，而这需要精细的词汇调整与巧妙的设计。为避免繁琐的提示词工程，已有一些针对图像分类任务的提示词表征学习方法被提出，但将其应用于检测任务时往往只能得到次优结果。本文提出了一种名为检测提示词（DetPro）的新方法，用于基于预训练视觉语言模型学习开集物体检测所需的连续提示词表征。与以往面向分类任务的方法不同，DetPro具有两大创新点：其一为背景解析机制，可将图像背景中的候选区域纳入提示词训练范畴；其二为上下文分级机制，能够区分图像前景中的候选区域以实现针对性的提示词训练。我们将DetPro与当前最先进的开放世界物体检测器ViLD相结合，在LVIS数据集上开展实验，并在Pascal VOC、COCO、Objects365数据集上进行迁移学习测试。实验结果表明，在所有设定下DetPro的性能均优于基线模型ViLD [7]，例如在LVIS数据集的新类别检测中，其APbox指标提升了3.4，APmask指标提升了3.0。相关代码与模型已开源，网址为https://github.com/dyabel/detpro。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文聚焦开放词汇目标检测（OVOD）中基于视觉语言模型（VLM）的提示表示学习问题，指出ViLD等方法依赖手工设计提示，而面向图像分类的CoOp等提示学习方法直接迁移到检测任务只能得到次优解。其核心论点是提出DetPro，通过自动学习连续提示表示替代手工提示工程，使检测器仅在基类上训练即可检测新类。支撑性论断是检测任务必须处理前景与背景的区分以及区域proposals的多上下文问题，因此DetPro设计背景解释方案将负proposals纳入提示训练，令其嵌入远离所有类嵌入，并设计上下文分级方案按IoU将正proposals分组，为不同上下文级别分别学习提示表示后集成。论文与ViLD结合，在LVIS上以frequent+common为基类（866类）、rare为新类（337类），实验显示新类AP_box提升3.4、AP_mask提升3.0，并在Pascal VOC、COCO、Objects365迁移中优于基线。关键术语包括open-vocabulary object detection、vision-language model、prompt representation learning、background interpretation、context grading、positive/negative proposals、base/novel classes。
- 研究方法
- 方法路径为设计连续提示表示学习算法并组装到两阶段检测器：使用CLIP的文本编码器T和图像编码器I，以可学习上下文向量[v1...vL]加固定类token wc生成类嵌入，图像编码器处理224×224图像或裁剪proposals生成图像嵌入。在基类上训练RPN提取proposals，按IoU阈值0.5划分前景F与背景B，正proposal集P=F∪G，负proposal集N=B；背景解释采用Eq.5隐式优化负proposal概率均匀化到1/|CB|，上下文分级将正proposals按IoU范围分K组独立学习后平均集成。检测框架为Faster-RCNN with ResNet-50 and FPN；组装到ViLD时使用Mask R-CNN、图像头和文本头，文本头以基类嵌入加可学习背景嵌入替换原分类器，图像头蒸馏CLIP图像编码器，损失包括Ltext交叉熵与Limage L1。数据与样本构成：LVIS v1上frequent+common 866类为基类、rare 337类为新类；迁移测试用Pascal VOC（20类）、COCO（80类，约118k图像，不计算实例掩码）、Objects365（365类）；评估指标为AP，LVIS主要看APr并报告APf/APc，迁移用AP、AP50、AP75、APs、APm、APl。训练细节：DetPro上下文长度8，类token在末尾，使用10%背景proposals和Eq.5隐式背景建模，上下文向量按零均值高斯分布（标准差0.02）初始化，SGD初始学习率0.002经余弦退火，训练6 epochs；ViLD重实现用SoCo替换ResNet-50，将训练从原始460 epochs降至20 epochs，8 GPU、每GPU 2图像，同步BN，SGD momentum 0.9、weight decay 0.00003，前500次迭代warm up学习率0.001。
- 学术贡献
- 方法创新层面，论文提出DetPro将连续提示表示学习从图像分类拓展到开放词汇目标检测，针对检测特有的前景/背景区分与多上下文区域proposals设计背景解释和上下文分级两个机制。对OVOD-VLM子领域，DetPro作为ViLD中proposal分类器的替换，实现了自动提示工程，避免手工调词，并在LVIS新类及跨数据集迁移中验证了有效性。概念层面，论文明确区分了图像分类与检测在提示学习上的差异：分类只需识别图像标签，检测需处理负proposals和不同IoU的正proposals，从而提出将正负proposals纳入提示训练的思路。材料与基准层面，论文在LVIS、Pascal VOC、COCO、Objects365上给出与ViLD的对比、迁移实验及背景策略消融（w/o BG、LearnableBG、SoftBG），并公开代码和模型。领域拓展层面，论文将CoOp的上下文优化从全类别分类设置推进到仅用基类训练、希望泛化到新类的开放词汇检测设置。
- 存在局限
- LVIS实验采用frequent+common作为基类、rare作为新类，材料未讨论其他基类/新类划分下DetPro的泛化表现，也未分析新类与基类语义距离对结果的影响。背景解释方案默认采用Eq.5的隐式均匀化策略，材料虽比较了显式背景嵌入（Eq.8）并称其不充分，但对隐式策略中|CB|规模、背景proposals采样比例10%及背景中含小目标情况缺乏敏感性分析。上下文分级方案需预设IoU范围[a,b]和间隔t来确定组数K，材料未报告这些超参数及上下文长度L的消融结果，也未说明分组边界如何影响提示表示质量。迁移实验中增益有限，如Pascal VOC的AP从73.9到74.6、AP50持平，COCO AP从34.1到34.9，Objects365 AP从11.5到12.1，材料未深入解释这些数据集上提升幅度较小的原因。为降低训练成本，重实现将ViLD的预训练ResNet-50替换为自监督预训练SoCo，并把训练从460 epochs降到20 epochs，材料称性能可比，但未提供与原始ViLD在所有指标上的完整对比，可能影响结论的对等性。材料未明确提及对RPN质量、类别不平衡或检测器骨干选择等变量的消融。
- 进一步研究方向
- 可系统改变LVIS的基类/新类划分（例如按频率不同组合或跨数据集定义），用相同DetPro训练与评估流程观察APr、APf、APc变化，以检验提示表示对类别划分的鲁棒性。可针对背景解释设计更细粒度的策略，如对负proposals按背景类型聚类后再施加不同惩罚，或以APr和AP为指标比较其与Eq.5隐式策略、LearnableBG、SoftBG的差异。可对上下文分级方案中的IoU范围[a,b]、间隔t、组数K以及上下文长度L做完整消融，并在LVIS新类与Pascal VOC、COCO、Objects365迁移上验证最优配置是否一致。可将DetPro与材料提及的OVR-CNN等其他开放词汇检测框架结合，检验该提示表示学习是否可迁移到不同蒸馏或微调流程。可分析学习到的提示表示在基类与新类上的嵌入分布，用余弦相似度统计或降维可视化验证背景解释是否使负proposals远离所有类嵌入，以及上下文分级是否产生可区分的前景提示嵌入。可在基类标注量递减的少样本设置下训练DetPro，考察提示表示学习对标注规模的敏感性，并与材料中6 epochs提示训练、20 epochs检测器训练的默认配置对比。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Advanced Neural Network Applications