无监督提示词学习在视觉语言模型中的应用
Unsupervised Prompt Learning for Vision-Language Models
Tony Jun Huang, Chu, Jack, Fangyun Wei
arXiv (Cornell University) · 2022-04-07
开放获取大模型与语言多模态与视觉语言被引 57影响因子 ≈0.2
摘要
对比型视觉语言模型如CLIP在迁移学习领域取得了显著进展。在推理阶段，需要精心设计出合适的文本描述（即提示词）才能对给定图像进行正确分类。为避免繁琐的提示词工程，CoOp、CLIP-Adapter和Tip-Adapter等近期研究提出利用少量标注数据对视觉语言模型进行适配，以完成下游图像识别任务。尽管这些方法取得了令人瞩目的改进，但依赖目标数据集的标注数据这一要求限制了其应用范围。本文探讨了另一种场景：目标数据集未提供标签信息，为此我们提出了一种无监督提示词学习（UPL）方法，该方法无需进行提示词工程，同时还能提升类CLIP视觉语言模型的迁移性能。据我们所知，UPL是首个将无监督学习引入提示词学习领域的研究。实验结果表明，在ImageNet及其他10个数据集上，UPL的性能均优于经过提示词工程优化的原始CLIP模型；其改进版本在大多数数据集上的表现甚至可与8次迭代训练的CoOp及8次迭代训练的TIP-Adapter相媲美。相关代码与模型已开源，地址为https://github.com/tonyhuang2022/UPL。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 针对CLIP类对比式视觉-语言模型在下游推理中依赖人工提示工程、而CoOp、CLIP-Adapter、Tip-Adapter等已有方法需目标数据集少量标注从而限制可扩展性的问题，论文提出无监督提示学习UPL，在目标标签不可得的场景下适配模型。UPL以CLIP生成伪标签，按类选取top-K置信样本而非固定置信度阈值，依据是CLIP在迁移中表现出类别偏置且置信度与伪标签准确率相关性较弱。方法学习一个跨类别共享的连续提示表示，冻结图像编码器与文本编码器，仅用伪标签交叉熵优化该提示。论文进一步引入伪标签集成与提示表示集成，增强版UPL*用多种视觉架构的CLIP模型提升伪标签质量，但推理仍使用ResNet-50的CLIP。在ImageNet等11个图像分类数据集上，UPL平均超越带提示工程的CLIP，UPL*在多数数据集上与8-shot CoOp和8-shot Tip-Adapter具有竞争力。
- 研究方法
- 方法路径包含伪标签生成与提示表示优化两个模块：先用CLIP对目标域无标注图像按公式计算类别概率并生成伪标签，每类保留top-16置信样本，且只用“a photo of a [CLS]”这类最简单提示而非CLIP的80个模板。伪标签集成对M个不同视觉架构的CLIP模型（ResNet-50、ResNet-101、ResNet-50x4、ResNet-50x16、ResNet-50x64、ViT-B/32、ViT-B/16、ViT-L/14）的类别概率取平均。提示表示优化定义可学习矩阵V∈R^{D×L}，L默认16，将其与类别词嵌入w_c拼接为V_c，所有类别共享V，仅通过文本编码器反向传播更新V，图像与文本编码器权重保持不变。训练使用SGD、初始学习率0.002、余弦衰减，50个epoch，批大小32，首epoch以1e-5预热；提示表示从均值0、标准差0.02的高斯分布随机初始化，系统级比较使用16个提示表示集成。实验覆盖ImageNet、Caltech101、DTD、EuroSAT、FGVCAircraft、Food101、Flowers102、OxfordPets、SUN397、StandfordCars、UCF101共11个分类数据集，并在UCF101与SUN397上做伪标签策略与集成的消融。
- 学术贡献
- 在设置层面，UPL首次将无监督学习引入视觉-语言模型的提示学习，提出目标标签缺失条件下的无监督提示学习框架，把适配从少样本监督扩展到无标注目标域。在方法层面，它把伪标签生成、按类top-K选择、伪标签集成与提示表示集成组合为可操作流程，并只优化连续提示表示而不微调图像/文本编码器。在分析层面，论文对CLIP伪标签特性给出观察：类别间存在偏置偏好，置信度不能完全反映伪标签质量，这为top-K按类采样与集成策略提供依据。在实证层面，UPL在11个数据集上相对带提示工程的CLIP平均提升4.2个百分点，UPL*在多数数据集上接近8-shot CoOp与8-shot Tip-Adapter，验证了无标注适配在图像分类迁移中的可行性。其价值主要体现在视觉-语言模型提示学习与无监督域适配子领域，特别是降低提示工程与目标域标注依赖这一议题。
- 存在局限
- 伪标签样本选择使用固定K=16且所有类别相同，材料仅报告K取2、4、8、16的平均结果，未给出按类别或按数据集自适应设定K的方案，类别偏置可能仍在伪标签分布中残留。论文称共享提示表示使方法对伪标签噪声稳健，但未报告伪标签错误率、错误传播或不同噪声水平下的定量分析，稳健性论断缺少直接证据链。UPL*依赖多个不同视觉架构的CLIP模型进行伪标签集成，虽推理只用ResNet-50，但材料未报告额外模型带来的计算开销、存储成本或模型不可得时的退化情况。实验仅限11个图像分类数据集，材料在相关工作提及检测、语义分割、动作识别、视频检索、视频描述和3D识别等CLIP适配任务，但未在这些任务上验证UPL。对比基线限于原始CLIP提示工程与有监督的CoOp、Tip-Adapter，未系统比较阈值型自训练或其他半监督自训练方法；消融也主要在UCF101与SUN397上，跨数据集泛化证据有限。
- 进一步研究方向
- 设计类别自适应伪标签选择：用类别级伪标签准确率估计或类内置信度分布动态设定每类K_c，在UCF101、SUN397等类别偏置明显的子集上与固定top-16对比，验证能否缓解类间不平衡并提升低质量类。对伪标签噪声进行显式建模：统计每类伪标签错误率与置信度相关性，比较共享提示表示和类别特定提示表示下的错误传播，在ImageNet、EuroSAT、FGVCAircraft等域差较大的数据集上检验共享提示稳健性的边界。降低UPL*对多CLIP模型的依赖：用单一CLIP的中间层特征、不同提示模板或轻量集成替代多视觉架构伪标签集成，在保持伪标签质量的同时测量计算开销，验证单模型集成的可行性。把无监督提示学习扩展到材料提及的检测、分割、动作识别、视频检索、视频描述与3D识别：将这些任务改造成目标域无标签适配，验证共享连续提示是否仍有效，或需任务特定/类别特定提示。补充与阈值型自训练及半监督自训练基线的系统比较，并在11个数据集之外加入跨域或更大类别规模场景，检验top-K、伪标签集成与提示表示集成的可扩展性。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning