CLIP-适配器：借助特征适配器优化视觉语言模型
CLIP-Adapter: Better Vision-Language Models with Feature Adapters
Peng Gao, Shijie Geng, Renrui Zhang, Teli Ma, Rongyao Fang, Yongfeng Zhang, Hongsheng Li, Yu Qiao
International Journal of Computer Vision · 2023-09-15
开放获取大模型与语言多模态与视觉语言被引 1,215被引前 10%影响因子 ≈11.4
摘要
CLIP-适配器通过引入特征适配器机制，有效提升了视觉语言模型的性能，为相关领域的应用发展提供了新的技术路径。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文的核心论点是：在少样本视觉分类中，除 prompt tuning 之外，还可以通过 feature adapters 微调视觉-语言模型来获得更好性能。研究对象是 CLIP 在 open-vocabulary 设定下的下游图像分类，关键概念包括 Feature Adapter、Vision-Language Model、Few-shot learning 与 Open-Vocabulary。作者指出 prompt tuning 作用于文本输入，而 CLIP-Adapter 在视觉或语言分支上增加瓶颈层以学习新特征，并与原始预训练特征进行 residual-style feature blending。该设计使 CLIP-Adapter 在保持简单结构的同时超过 context optimization（CoOp），并同时利用 CLIP 原有知识与少样本训练得到的新知识。因此论文主张，fine-tuning with a small portion of parameters 是提升视觉-语言模型的一条可行替代路径。
- 研究方法
- 方法上，论文冻结 CLIP 的视觉与文本编码器，仅在最后一层之后添加两个线性变换构成的瓶颈适配器 Av(·) 与 At(·)，并分别以 f⋆=αAv(f)^T+(1−α)f、W⋆=βAt(W)^T+(1−β)W 进行残差式特征混合。训练使用与 CLIP 一致的对比损失，仅优化适配器参数；默认变体只微调视觉适配器，另有只微调文本适配器与同时微调两分支两个变体，α 与 β 可通过逐数据集超参数搜索或由 hypernetwork Q(f,W) 学习。实验在 11 个图像分类数据集上展开，包括 ImageNet、StanfordCars、UCF101、Caltech101、Flowers102、SUN397、DTD、EuroSAT、FGVCAircraft、OxfordPets 与 Food101。采用 1、2、4、8、16 shots 的少样本设置并在完整测试集上评估，每种设置运行 3 次取平均，使用 ResNet-50 作为视觉骨干、12 层 Transformer 作为文本编码器，瓶颈隐藏维度为 256，batch size 32，学习率 1×10−5，在单张 NVIDIA A100 上完成。比较对象为 Zero-shot CLIP、Linear probe CLIP 与 CoOp，并使用与 CLIP 相同的手工硬提示模板，默认采用 CoOp-style 图像预处理，CLIP-style 预处理结果放在附录。论文还对 11 个数据集进行消融研究，并报告 ImageNet 16-shot 下的训练时间、参数量、显存、推理速度与精度。
- 学术贡献
- 方法创新层面，论文提出以轻量瓶颈特征适配器与残差式混合来适配 CLIP，证明除 prompt tuning 外，参数高效微调同样能改进视觉-语言模型的少样本分类。在领域拓展上，该工作把 adapter-based parameter-efficient transfer learning 的思路从语言/多模态任务延伸到 CLIP 的视觉与语言分支，并明确对比 CoOp 的连续提示优化路径。在实验材料层面，论文在 11 个分类数据集、多个 shot 设置下给出系统比较与消融，覆盖通用与细粒度数据集，为少样本视觉分类基准补充了 CLIP-Adapter 的结果。在效率与精度权衡方面，16-shot ImageNet 上 CLIP-Adapter 以 0.52M 可训练参数、50min 训练时间、2227 MiB 显存达到 61.33% 精度，优于 CoOp 的 0.02M 参数、14h40min、7193 MiB 与 60.46% 精度，也优于 Zero-shot CLIP 的 55.41% 和 Linear probe CLIP 的 53.44%。论文对细粒度数据集（如 EuroSAT 到 FGVCAircraft）与通用数据集（如 Caltech101、ImageNet）的增益差异做了分析，这对识别 CLIP 适配的适用任务类型提供了具体证据。代码开源于 GitHub，为复现与后续适配器设计比较提供了实现基础。
- 存在局限
- 方法设计上，默认变体只微调视觉适配器，文本适配器与双分支适配器的结果被放在 4.2.5，而所给材料未展示这些变体的具体数值，因此无法判断文本适配在哪些数据集上有效。超参数处理上，α 采用逐数据集超参数搜索并报告最佳结果，这可能带来额外搜索成本，并使报告精度偏向搜索空间中的最优值；虽然论文提出用 hypernetwork 学习 α 和 β，但材料未给出该可学习方案的实验结果。实验样本的代表性有限：视觉骨干固定为 ResNet-50，文本编码器固定为 12 层 Transformer，材料未报告更换骨干、模型规模或跨架构的验证。论证链条上，实验任务限于 11 个图像分类数据集，虽然引言提到检测与语义分割，但材料中的实验未覆盖这些任务，因此无法支持更广泛的视觉任务结论。效率比较表只给出 ImageNet 16-shot 的训练时间、参数量、显存与推理速度，未在全部 11 个数据集和所有 shot 设置上系统比较效率与精度。材料中未明确提及艺术学、艺术理论或艺术设计议题，因此不能依据该材料评估其在艺术学领域的贡献。
- 进一步研究方向
- 将材料中未展开的 text-only 与 both-branch 变体在 11 个数据集、1/2/4/8/16 shots 下完整复现并报告结果，验证文本适配对细粒度分类与通用分类的差异化贡献。把 α、β 的可学习方案（由 hypernetwork Q(f,W) 预测）设为默认训练配置，与逐数据集手动搜索比较精度、训练时间与超参数搜索成本，检验能否在减少人工调参的同时维持性能。更换视觉骨干（如 ViT 或其他 Transformer）与文本编码器规模，重复 16-shot 与 1-shot 实验，检验 CLIP-Adapter 的跨架构稳健性，因为现有材料只使用 ResNet-50 与 12 层 Transformer。将适配器与残差混合机制迁移到材料引言提及但实验未覆盖的检测与语义分割任务，采用相同冻结 CLIP 主干、只训练瓶颈适配器的设置，检验任务泛化能力。对 1-shot、2-shot 相对于 Zero-shot CLIP 与 Linear probe CLIP 的大幅领先做多种随机种子与统计显著性检验，并报告方差，以排除少样本抽样波动的影响。针对细粒度数据集 20%–50% 的绝对提升与通用数据集 2%–12% 的提升差异，设计控制实验比较硬提示模板、类别名语义可分性与适配器容量，解释增益来源。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications