面向视觉语言模型调优的任务残差方法
Task Residual for Tuning Vision-Language Models
Tao Yu, Zhihe Lu, Xin Jin, Zhibo Chen, Xinchao Wang
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2023-06-01
摘要
基于数十亿级数据预训练的大规模视觉语言模型已经掌握了通用的视觉表征与广泛的视觉概念。原则上，在将这类模型迁移至数据量有限的下游任务时，应妥善保留其已习得的知识结构。然而，现有大多数针对视觉语言模型的高效迁移学习方法要么会破坏原有知识，要么对其产生过度依赖：例如提示词调优会舍弃预训练的基于文本的分类器并重新构建新的分类器，而适配器式调优则完全依赖预训练特征。为解决这一问题，我们提出了一种名为任务残差调优的新颖高效调优方法，该方法直接在基于文本的分类器上操作，能够明确分离预训练模型的原有知识与针对目标任务的新知识。具体而言，任务残差调优会将视觉语言模型原有的分类器权重保持冻结状态，通过调优一组独立于原有知识的参数作为残差来生成目标任务的新分类器，从而既能可靠地保存原有知识，又能灵活探索特定任务所需的知识。所提出的任务残差调优方法简单却高效，在11个基准数据集上的表现显著优于以往的高效迁移学习方法（如提示词调优和适配器式调优），且实现难度极低。相关代码可在https://github.com/geekyutao/TaskRes查看。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对大规模视觉语言模型在低数据下游任务中的高效迁移学习，核心论断是现有ETL在继承预训练先验与学习任务新知识之间失衡。其问题域具体化为：prompt tuning如CoOp学习连续prompt合成新文本分类器，缺少先验知识保留保证，在ImageNet 1-/2-shot低于Zero-shot CLIP 1.03%/0.37%；adapter-style tuning如CLIP-Adapter保留预训练分类器，却把适配器输入严格限定为旧特征，新知识探索受限。为支撑论点，作者主张显式解耦预训练模型的旧知识与目标任务新知识：TaskRes冻结CLIP文本分类器权重t，仅学习先验无关参数x作为任务残差，以t′=t+αx构造新分类器。该设计意在同时实现可靠先验保留与灵活任务特定知识探索，11个基准结果和残差幅度随迁移难度增大的观察被用来支持这一论点。
- 研究方法
- 方法路径以CLIP文本嵌入分类器为对象，保持基分类器与图像分支冻结，仅将零初始化的残差矩阵x∈R^{K×D}按t′=t+αx元素级加入，以交叉熵损失反向传播更新x。实验材料覆盖11个基准数据集：ImageNet、Caltech101、OxfordPets、StanfordCars、Flowers102、Food101、FGVCAircraft、SUN397、DTD、EuroSAT、UCF101，每类训练1/2/4/8/16 shots并在完整测试集评估。域泛化实验在16-shot ImageNet上训练，测试ImageNet-V2、-Sketch、-A、-R，并比较ResNet-50、ResNet-101、ViT-B/32、ViT-B/16等CLIP视觉骨干。消融在ImageNet上比较四种目标分类器：t′=t、t′=φω(t)、t′=t+αφω(t)与t′=t+αx，并用三随机种子平均。实现细节包括Adam，初始学习率2e-3（ImageNet 2e-4），余弦衰减与warmup，batch size 256，1/2/4-shot训练100 epoch，8/16-shot训练200 epoch，增强基分类器预调50 epoch，α默认0.5（Flowers102为1）。
- 学术贡献
- 在问题建构层面，论文首次强调从预训练VLM向下游任务ETL时适当知识继承的必要性，揭示prompt tuning先验保存无保证与adapter-style tuning新知识探索受限两个陷阱，并提出解耦旧知识与新知识是关键。在方法创新层面，提出TaskRes，将任务适配参数作为先验无关残差加到冻结文本分类器上，而非改造或重建分类器，形成参数少、易实现且仅需一行代码的调参方案。在实验材料层面，在11个基准和1-16 shots设置上比较Zero-shot CLIP、CoOp、CLIP-Adapter、Tip-Adapter-F，并在ImageNet变体域泛化与多种CLIP骨干上验证SOTA/SOTA-comparable性能。在领域价值上，对视觉语言模型高效迁移学习、少样本图像识别、提示调参与适配器调参子领域提出新的分类器侧调优范式，并以残差幅度—迁移难度关系给出机制性观察。
- 存在局限
- 方法在OxfordPets与Food101上表现不及对比方法，作者归因于少样本训练细粒度数据易过拟合，且CoOp也出现该现象，说明TaskRes对细粒度任务未必稳定占优。增强基分类器版本Ours*在源数据集精度更高，却在域泛化上降低一定性能，显示源域拟合与未见域泛化之间存在权衡。域泛化验证仅以16-shot ImageNet为源域并迁移到ImageNet-V2/-Sketch/-A/-R，源域和目标域类型较集中，材料未展示从其他10个数据集出发的跨域结果。残差幅度随迁移难度增大的结论主要来自可视化相关性观察，材料未明确给出控制任务难度、类别数或α的因果实验。所有模型均建立在CLIP上，材料中未明确验证该方法在Flamingo等其他大规模VLM或非文本分类器结构上的适用性，也未讨论类别数K与特征维D增大时任务残差参数量的扩展后果。
- 进一步研究方向
- 针对OxfordPets、Food101的过拟合，可在任务残差上加入正则化、早停或按类别难度分层调参，比较1/2/4/8/16-shot下细粒度精度与泛化差距。可设计自适应缩放因子α的学习方案，材料已初步探索learnable α，后续可在EuroSAT等域偏移场景与FGVCAircraft等细粒度场景验证自适应α是否稳定改善残差幅度—难度匹配。将TaskRes的文本分类器残差扩展到图像嵌入侧调优的对照实验，检验材料提到的测试图像嵌入与训练不同导致过拟合的假设，并比较文本残差与图像残差的泛化。在材料提及但未实验的Flamingo等VLM上重复11基准与ImageNet变体域泛化，检验冻结基分类器加先验无关残差的解耦原则是否跨模型成立。构建多源域到多目标域的迁移矩阵，区分训练源数据集，测试Ours*源精度提升与泛化下降的权衡是否可预测，并据此确定增强基分类器的使用条件。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Multimodal Machine Learning Applications