面向视觉语言模型的条件化提示学习
Conditional Prompt Learning for Vision-Language Models
Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu
arXiv (Cornell University) · 2022-03-10
摘要
随着CLIP等强大的预训练视觉语言模型的兴起，探究如何使这些模型适配下游数据集变得至关重要。近期提出的上下文优化（Context Optimization, CoOp）方法将自然语言处理领域的新兴趋势——提示学习引入视觉领域，用以适配预训练视觉语言模型。具体而言，CoOp将提示中的上下文词转化为一组可学习的向量，仅需少量标注图像即可实现相较于人工精心调参的提示显著的性能提升。我们在研究中发现了CoOp的一个关键缺陷：所学习的上下文无法推广到同一数据集中更广泛的未见类别，这表明CoOp对训练期间观察到的基类别存在过拟合现象。为解决这一问题，我们提出了条件化上下文优化（Conditional Context Optimization, CoCoOp）方法，该方法在CoOp的基础上进一步训练一个轻量级神经网络，为每张图像生成与输入相关的条件化词元（向量）。与CoOp的静态提示相比，我们的动态提示能够适配每个实例，因此对类别偏移的敏感度更低。大量实验表明，CoCoOp对未见类别的泛化能力远优于CoOp，甚至在不同数据集之间也展现出良好的迁移性；同时其域泛化性能也更强劲。相关代码可在https://github.com/KaiyangZhou/CoOp获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文聚焦预训练视觉-语言模型（如 CLIP）向下游数据集适配的问题，认为全模型微调因参数量达数亿乃至数十亿而不切实际，并可能损伤已习得的表示空间，而人工 prompt 工程依赖试错、无法保证最优。作者肯定 CoOp 将 prompt 中的上下文词转为可学习向量、仅用少量标注图像即大幅超越人工精调 prompt 的有效性，但指出其关键缺陷：所学上下文无法泛化到同一数据集内更广的未见类别，说明 CoOp 过拟合了训练中观察到的 base classes。据此提出 Conditional Context Optimization（CoCoOp），在 CoOp 基础上额外学习一个轻量神经网络，为每张图像生成输入条件 token（向量）。其核心论断是：相较 CoOp 的静态 prompt，实例条件化的动态 prompt 能适配每个样本，因而对 class shift 不敏感，在未见类上泛化更好，并展现出跨单一数据集的迁移性与更强的域泛化性能。
- 研究方法
- 研究以 CoOp 为主要对照基线，通过同一实验框架下的直接比较来检验静态 prompt 与条件化 prompt 的差异。模型路径上，CoCoOp 保留 CoOp 的可学习上下文向量，并追加一个轻量神经网络，以图像为输入生成 input-conditional token，从而把 prompt 由固定向量变为随实例变化的动态向量。评估按 base classes（训练中观察到的类别）与 new classes（未见类别）两套划分展开，以 Accuracy 为指标，并设置 zero-shot 与人工 prompt 作为参照系；材料图例中出现了 pet dataset 场景以及 cathedral、arrival gate、wind farm、train railway 等类别名称。作者还报告了域泛化与跨数据集迁移的测试结果。具体数据集名称、类别总数、few-shot 的样本量 k、条件网络的结构细节，材料中未明确提及。
- 学术贡献
- 方法层面的贡献是提出 CoCoOp 模型，把视觉-语言模型的 prompt learning 从 CoOp 的静态上下文优化推进到实例条件化的动态 prompt 生成，属于模型结构创新。问题诊断层面的贡献是识别并实验证实了 CoOp 的 base-to-new 泛化缺陷，即所学上下文对同一数据集内的类偏移不具泛化能力，这对 prompt learning 方法的失效机制刻画有价值。领域价值体现在视觉-语言模型的高效适配（参数高效适配）这一子议题上，为替代全量微调与人工 prompt 工程提供了可行路径；作者同时公开代码（GitHub 链接），构成可复现的材料贡献。
- 存在局限
- 材料未说明 few-shot 的具体样本量、各数据集规模与类别数，也未交代 base 与 new 类别的划分依据，样本代表性无从评估。评估仅使用 Accuracy 单一指标，未报告鲁棒性、校准度；CoCoOp 相对 CoOp 增加了额外的神经网络，但材料中未给出训练与推理开销的对比，效率代价不明。对照基线集中于 CoOp 与人工 prompt，材料中未与其他参数高效适配范式作系统比较。跨数据集迁移性仅以 promising transferability 概述，缺少量化结果；'对 class shift 不敏感'这一断言也缺少对 class shift 程度的可控度量与消融支撑。材料中未提及条件网络的容量消融、条件注入位置对比及超参数敏感性分析。
- 进一步研究方向
- 一是做消融实验：改变生成条件 token 的轻量神经网络的深度与宽度，并对比只条件化部分上下文向量与条件化全部向量两种注入方式，在相同 base/new 划分下测 Accuracy，判定动态 prompt 的收益来自条件化机制本身还是来自新增容量。二是构造可控的 class shift 梯度：以类名语义相似度为轴，从 base 类别逐步外推到语义距离递增的 new 类别（材料中出现的 cathedral、arrival gate、wind farm、train railway 可直接作为类别素材），测量 CoOp 与 CoCoOp 的精度差随语义距离的变化，验证'过拟合 base classes'这一归因是否成立。三是把指标从 Accuracy 扩展至校准度与不确定性，并在多源域偏移下逐域报告结果，量化材料中仅笼统表述的域泛化优势。四是补齐实验协议，报告 few-shot 的 k 值、类别数与训练/推理时间、显存占用，并在同等预算下与全量微调及其他适配方法对齐比较。五是替换条件信号来源，将图像条件 token 改为类名条件 token 或两者并用，考察材料所称'跨单一数据集迁移'在何种条件下成立。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning