面向视觉语言模型的条件化提示学习
Conditional Prompt Learning for Vision-Language Models
Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2022-06-01
摘要
随着CLIP等强大的预训练视觉语言模型的兴起，探究如何使这些模型适配下游数据集变得至关重要。近期提出的上下文优化（Context Optimization, CoOp）方法将自然语言处理领域的新兴趋势——提示学习引入视觉领域，用以适配预训练视觉语言模型。具体而言，CoOp将提示中的上下文词转化为一组可学习的向量，仅需少量标注图像即可实现相较于精心调参的手动提示显著的性能提升。我们在研究中发现了CoOp的一个关键缺陷：其所学到的上下文无法推广到同一数据集中更广泛的未见类别，这表明CoOp对训练期间观察到的基类别存在过拟合现象。为解决这一问题，我们提出了条件化上下文优化（Conditional Context Optimization, CoCoOp）方法，该方法在CoOp的基础上进一步训练一个轻量级神经网络，为每张图像生成与输入相关的条件化词元（向量）。与CoOp的静态提示相比，我们的动态提示能够适配每个实例，因此对类别偏移的敏感度更低。大量实验表明，CoCoOp对未见类别的泛化能力远优于CoOp，甚至在不同数据集间的迁移能力也表现优异，同时其域泛化性能也更为强劲。相关代码可在https://github.com/KaiyangZhou/CoOp获取。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文关注CLIP等预训练视觉-语言模型在下游数据集上的适配问题，指出CoOp将prompt中的上下文词变为一组可学习向量，仅用少量标注图像即可比精调人工prompt取得显著提升。论文识别出CoOp的关键问题：学到的上下文无法泛化到同一数据集内更广泛的未见类，说明CoOp过拟合了训练中观察到的基类。为此作者提出CoCoOp，在CoOp基础上进一步学习一个轻量神经网络，为每张图像生成输入条件token或向量。与CoOp的静态prompt相比，CoCoOp的动态prompt按实例适应，因而对类别偏移较不敏感。实验表明CoCoOp在未见类上泛化显著优于CoOp，并展现出跨单一数据集的迁移性与更强的域泛化性能。
- 研究方法
- 论文采用视觉-语言模型适配中的prompt learning路径，以CLIP类模型为对象，将prompt上下文词参数化为可学习向量，并比较人工prompt、CoOp与CoCoOp。CoCoOp的具体机制是训练一个轻量神经网络，根据每张输入图像生成条件token，替代CoOp的静态上下文向量，形成实例级动态prompt。材料中的实验以基类与新增类划分进行评估：在基类上，CoOp与CoCoOp均显著超过人工prompt；在新增类上，CoCoOp泛化更好。论文还报告了跨数据集迁移与域泛化实验，并给出代码链接。但材料未明确提及数据集名称、样本规模、训练超参数、轻量网络结构、token数量M取值以及训练目标函数等细节。
- 学术贡献
- 在方法层面，论文提出CoCoOp，将静态上下文优化扩展为输入条件动态prompt，针对CoOp从基类到新类的过拟合问题给出机制性修正。该工作对视觉-语言模型下游适配子领域有价值，尤其涉及prompt learning、基类到新类泛化与域泛化等议题。论文指出并实证CoOp对类别偏移的脆弱性，为后续prompt学习评估提供了基类与新类划分这一诊断视角。动态prompt带来跨数据集迁移性，拓展了CoOp主要关注单数据集适配的边界。材料明确提及公开代码，有利于复现与后续比较。
- 存在局限
- 材料仅以摘要和节选呈现，未给出完整实验协议，无法判断CoCoOp在多少数据集、多少基类与新类划分、多少shot设置下成立。轻量神经网络的结构、参数量、训练方式及其生成的条件token维度M在材料中未明确提及，因此难以评估方法复杂度与可复现细节。对输入条件token为何能缓解类别偏移缺少机制分析，材料未说明其捕捉的是类别相关视觉属性还是背景或域线索。评估指标主要围绕准确率，材料未报告方差、显著性检验、失败案例或错误类型分析，泛化结论的稳健性信息不足。材料也未明确讨论CoCoOp相比CoOp在推理阶段增加的额外计算开销，也未说明跨数据集迁移是否与域泛化实验使用同一套基类与新类协议。
- 进一步研究方向
- 可在材料已提及的基类与新类划分及域泛化设定上，系统改变基类数量、新类距离与每类标注样本数，验证CoCoOp相对CoOp的泛化增益边界及失效条件。可对生成条件token的轻量网络做消融，比较不同网络容量、token维度M、是否共享或独立于文本编码器，观察基类准确率与新类泛化之间的权衡。可设计实例级诊断实验，对输入图像进行背景替换、类别属性编辑或注意力可视化，检验条件token是否真正依据类别相关区域而非数据集偏置。可在跨数据集迁移场景中设计源域与目标域配对实验，区分类别偏移与域偏移对CoOp和CoCoOp的影响，检验动态prompt在二者叠加时的鲁棒性。可报告推理延迟、显存与训练成本，并将CoCoOp与人工prompt、CoOp在相同shot与相同CLIP骨干下做受控比较，以明确动态token的净收益。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning