PromptKD：面向视觉语言模型的无监督提示词蒸馏方法

摘要

主要观点

论文提出提示（prompt）可以充当领域知识蒸馏器，使轻量 CLIP 学生模型通过可学习视觉提示的模仿，从更大的 CLIP 教师模型中吸收领域知识，且蒸馏过程不依赖标注数据。其问题域是视觉语言模型（CLIP 双塔结构）在特定领域下游图像识别任务上的适配，关键概念包括 CLIP 的解耦模态（decoupled-modality）特性、预存文本特征作为教师与学生共享的类别向量（class vectors）、以 KL 散度对齐师生 logits，以及 transductive 零样本设定。论文的核心论断有三：学生无需全参数微调，只更新视觉提示与投影层，学生原有 CLIP 权重保持冻结；教师的文本分支只需计算一次并保存，训练与推理阶段均可省去文本编码的额外计算；教师在海量无标注领域图像上生成软标签，使蒸馏摆脱对标注的依赖。作者报告在 11 个识别数据集、ViT-B/16 图像编码器下，base 类平均提升 2.70%、new 类提升 4.63%（相对 PromptSRC），跨数据集 transductive 评测平均 71.33%、提升 5.52。

研究方法

方法为两阶段框架并附 PyTorch 风格伪代码。阶段一在领域 few-shot 标注数据上用 MaPLe、PromptSRC 等既有提示学习方法预训练 ViT-L/14 CLIP 教师，训练完成后仅经教师文本编码器一次性计算并保存全部 N 类的归一化文本特征 W∈R^{N×d} 作为共享类别向量。阶段二在无标注领域图像集上，将图像分别送入教师与学生图像编码器，学生特征经可学习投影层 P(·) 调整维度后，与预存 W 相乘得到 q_t 与 q_s，以 L_kd = τ²KL(σ(q_t/τ), σ(q_s/τ)) 优化学生视觉提示与投影层。评测使用两种协议：base-to-novel 泛化（教师在 PromptSRC 相同设置下训练，蒸馏阶段使用整个无标注训练集）与跨数据集评测（教师在 ImageNet 16-shot 上训练，学生在各无标注目标域训练集上蒸馏）。实验覆盖 ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101 共 11 个数据集，对照方法为 CLIP、CoOp、CoCoOp、MaPLe、PromptSRC，跨数据集表中前三者等被归为 inductive、PromptKD 归为 transductive。材料中未明确提及提示长度、学习率、蒸馏温度 τ 的具体取值，也未给出多次运行的方差统计。

学术贡献

贡献集中在方法创新与框架设计层面，面向视觉语言模型的参数高效适配（prompt learning）与知识蒸馏两个子领域的交叉议题。作者声称两项首次：一是首次以无标注领域数据对 CLIP 实施领域特定的提示驱动知识蒸馏；二是建立教师与学生共享类别向量的文本特征预存机制，使蒸馏与推理都不必再运行文本分支。就问题设定而言，论文把提示学习此前以 inductive 为主的评测扩展到 transductive 零样本设定，并以学生图像编码器在部署阶段替换教师的重型图像编码器。这些论断由 11 个数据集上的 base-to-novel 泛化与跨数据集两组对照实验支撑。材料的期刊或会议发表信息未明确提及，仅标注 arXiv 编号与开源代码地址。

存在局限

第一，“无监督”只覆盖第二阶段：教师预训练仍依赖领域 few-shot 标注，教师自身的领域偏差会经软标签整体传递给学生，论文未报告软标签噪声或错误传播的分析。第二，表 2 显示在 Caltech101 上相对 PromptSRC 仅提升 0.01，材料未说明该数据集为何几乎无增益。第三，跨数据集对比中 PromptKD 使用未见类的无标注图像属 transductive，而 CoOp、MaPLe、PromptSRC 均为 inductive，两类设定同表并列，材料未提供同设定下重训的对照，因此平均 +5.52 的提升中设定差异所占份额无法剥离。第四，材料未呈现消融实验，视觉提示、投影层与预存类别向量三者各自的增益未被单独量化，也未给出改变骨干规模或提示长度的敏感性结果。第五，除 ViT-L/14 教师配 ViT-B/16 学生之外的骨干组合未在材料中报告。

进一步研究方向

其一，构建消融矩阵：分别冻结视觉提示只训投影层、只训提示而不使用预存类别向量（改用学生文本分支在线编码）、以及更换学生骨干规模，量化各组件对 base 类与 new 类精度的边际贡献，检验增益是否必须经由提示而非仅靠投影层。其二，在 transductive 设定下重训 CoOp、MaPLe、PromptSRC 作为等条件对照，把设定差异从方法增益中剥离。其三，针对教师精度较低的子域（如 FGVCAircraft 上教师 PromptSRC 的 base 仅 42.73）引入置信度阈值、样本筛选或师生一致性再加权，测量软标签噪声与蒸馏收益之间的关系。其四，把预存文本特征扩展为多教师、多领域的类别向量集合，在类别重叠与非重叠两种情形下检验共享类别向量的可迁移性。其五，量化省略文本分支所节省的前向与反向计算量及其精度代价，检验该预存机制在 EuroSAT 这类遥感域之外的其他领域中的开销—精度权衡。

本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。

参考文献

相关论文

• 无监督提示词学习在视觉语言模型中的应用

  2022 · 被引 57

• 面向视觉语言模型的条件化提示学习

  2022 · 被引 1,859

• 面向视觉语言模型的条件化提示学习

  2022 · 被引 73

• 面向视觉语言模型的提示词学习研究

  2022 · 被引 3,249

• 基于视觉语言模型的开集物体检测提示词学习

  2022 · 被引 363

• InstructBLIP：基于指令微调的通用视觉语言模型研究

  2023 · 被引 513