面向视觉语言模型的提示词学习研究
Learning to Prompt for Vision-Language Models
Kaiyang Zhou, Jingkang Yang, Chen Change Loy, Ziwei Liu
International Journal of Computer Vision · 2022-07-31
开放获取大模型与语言多模态与视觉语言被引 3,249被引前 10%影响因子 ≈11.4
摘要
视觉语言模型在理解图像与文本关联方面展现出强大能力，但如何高效生成有效提示词仍面临挑战。本研究提出一种基于深度学习的提示词学习框架，通过自动优化提示词参数来提升模型性能。实验结果表明，该方法在多个基准测试集上均取得优于传统方法的成果，为视觉语言模型的应用拓展了新的可能性。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文指出，大型预训练视觉语言模型如 CLIP 虽能通过 prompting 实现零样本迁移，但实际部署中的主要挑战是 prompt engineering：它需要领域专业知识且极其耗时，措辞的微小变化会大幅影响性能。为自动化 prompt engineering，论文提出 Context Optimization（CoOp），用可学习向量建模 prompt 的上下文词，保持全部预训练参数固定，仅用交叉熵损失优化上下文向量。CoOp 提供统一上下文（unified context）与类特定上下文（class-specific context）两种实现，并允许将类别 token 置于序列末尾或中间。在 11 个图像分类数据集上，CoOp 用一或两个 shot 即可超过手工 prompt，16 shot 平均提升约 15%，最高超 45%，并优于线性探针且对域偏移更鲁棒。
- 研究方法
- 论文基于 CLIP 的视觉语言预训练框架，图像编码器与文本编码器通过对比学习对齐图像-文本特征空间；零样本推理时由文本编码器合成分类权重，与图像特征计算余弦相似度。CoOp 将 prompt 中的上下文词替换为可学习连续向量 [V]1...[V]M，类别 token 保持词嵌入形式，整个预训练参数冻结；训练时用交叉熵损失最小化预测误差，梯度可反传通过文本编码器以优化上下文。实现包括统一上下文（所有类别共享同一组上下文向量）和类特定上下文（每个类别学习独立上下文向量），并比较类别 token 置于末尾与中间两种位置。实验选取 ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101 共 11 个公开图像分类数据集，覆盖通用物体、场景、动作、细粒度、纹理与卫星图像。采用 CLIP 的 few-shot 评估协议，使用 1、2、4、8、16 shots 训练并在完整测试集部署，报告三次运行平均结果；默认 ResNet-50 图像编码器，上下文长度 M=16，SGD 初始学习率 0.002 并余弦退火，上下文向量由零均值高斯（std=0.02）随机初始化。对比零样本 CLIP 手工 prompt 与线性探针基线。
- 学术贡献
- 论文在方法层面首次将 prompt learning 应用于计算机视觉中大型视觉语言模型的适配，提出 CoOp 以连续 prompt 学习自动化 prompt engineering，针对的是部署效率问题。它提供统一上下文与类特定上下文两种实现，可处理不同性质的识别任务，并公开源代码。实验层面首次显示该 prompt learning 方法在下游迁移学习性能上优于手工 prompt 和线性探针，并在域偏移下比使用手工 prompt 的零样本模型更鲁棒。这些贡献对视觉语言模型的高效适配、few-shot 图像识别以及基础模型民主化（democratization of foundation models）议题有价值。
- 存在局限
- CoOp 使用连续上下文向量，材料指出这类连续 prompt 学习方法相比搜索离散 token 的缺点是缺乏清晰方式可视化学到的“词”，可解释性不足。在 16 shots 下，Food101 上的绝对改进为 -2.64%，即未超过零样本手工 prompt；论文未分析该负向结果的原因。实验仅覆盖 11 个公开图像分类数据集，默认图像编码器为 ResNet-50，上下文长度 M=16，评估 shot 数限于 1、2、4、8、16；材料中未明确提及在更大规模模型、其他 CLIP-like 模型或非分类任务上的验证。统一上下文与类特定上下文虽被提出，但材料只称类特定上下文对某些细粒度类别更合适，未给出选择准则、机制解释或逐类误差分析。材料中未明确提及 CoOp 在完全开放类别、跨语言 prompt 或更多模态任务中的表现。
- 进一步研究方向
- 针对连续上下文向量的可解释性，可将学习到的 [V]1...[V]M 投影到 CLIP 词嵌入空间并搜索最近邻离散词，或设计离散-连续混合 prompt，检验可视化 token 后是否保持 few-shot 性能。系统比较统一上下文与类特定上下文的适用条件：在 Flowers102、StanfordCars、FGVCAircraft 等细粒度数据集与 ImageNet、Caltech101 等通用数据集上，改变 M、初始化方式（随机 vs 预训练词嵌入）和类别 token 位置，做逐类误差分析，验证类特定上下文是否因缓解类别间上下文冲突而更优。在 ALIGN 等 CLIP-like 模型及不同图像编码器（ResNet、ViT）上重复 1/2/4/8/16-shot 协议，验证 CoOp 的跨模型泛化性。针对 Food101 负向结果，分析类间语义重叠与手工 prompt 模板差异，做消融实验，检验 shot 数增加或上下文初始化改变能否逆转。在 EuroSAT、DTD 等专门任务上构造不同域偏移，比较 CoOp、零样本 CLIP 与线性探针的鲁棒性边界，并研究 1-2 shots 下的标注选择策略对稳定性的影响。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning