基于预训练视觉语言模型的高效测试时自适应方法
Efficient Test-Time Adaptation of Vision-Language Models
Adilbek Karmanov, Dayan Guan, Shijian Lu, Abdulmotaleb El Saddik, Eric P. Xing
IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings - IEEE Computer Society Conference on Computer Vision and Pattern Recognition/Proceedings · 2024-06-16
摘要
利用预训练视觉语言模型进行测试时自适应，已成为应对测试阶段数据分布偏移的重要研究方向。尽管现有研究已取得令人瞩目的成果，但往往涉及大量计算开销，这与测试时自适应的实际需求严重不符。我们设计了TDA这一无需训练的动态适配器，能够实现高效且有效的视觉语言模型测试时自适应。TDA借助轻量级的键值缓存机制，维护一个动态队列：其中存储少量样本的伪标签作为值，对应的测试样本特征则作为键。依托该键值缓存，TDA能够通过渐进式的伪标签优化逐步适配测试数据，整个过程无需反向传播，效率极高。此外，我们引入了负伪标注机制，当模型对伪标签预测结果存疑时，会将伪标签分配给特定的负类，从而减轻伪标签噪声带来的负面影响。在两大基准数据集上的大量实验表明，与现有最先进方法相比，TDA在有效性与效率方面均表现出显著优势。相关代码已发布于https://kdiaaa.github.io/tda/。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文聚焦预训练视觉-语言模型在测试阶段面对分布偏移时的测试时适应问题，指出既有方法虽性能可观但计算密集，与测试时适应的效率要求严重不符。作者提出 TDA，一种无需训练的 dynamic adapter，目标是同时实现有效且高效的测试时适应。TDA 维护一个轻量级 key-value cache，以少样本伪标签为 values、以对应测试样本特征为 keys，构成动态队列。基于该缓存，TDA 通过 progressive pseudo label refinement 逐步适应测试数据，且不引入任何反向传播。作者还提出 negative pseudo labeling，在模型对伪标签预测不确定时把伪标签分配给某些负类，以缓解伪标签噪声的负面影响；在两个基准上的实验显示 TDA 在有效性与效率上优于 state-of-the-art。
- 研究方法
- 研究方法属于方法设计与实验评估相结合：提出 training-free dynamic adapter，并用 lightweight key-value cache 组织动态队列，队列的 values 为少样本伪标签，keys 为对应测试样本特征。方法路径包含 progressive pseudo label refinement，通过缓存中的键值匹配逐步更新伪标签，从而在不进行反向传播的条件下完成测试时适应。另设 negative pseudo labeling 机制，在模型对伪标签预测不确定时向某些负类分配伪标签，以处理伪标签噪声。评估部分在两个基准上开展 extensive experiments，与 state-of-the-art 进行有效性和效率比较。材料未明确提及具体基准名称、数据集规模、域偏移类型、评价指标、效率度量、消融实验设置或实现细节。
- 学术贡献
- 在方法创新层面，论文提出 TDA 这一 training-free dynamic adapter，把轻量级 key-value cache 和动态队列引入视觉-语言模型的测试时适应，形成不依赖反向传播的适应路径。在机制层面，progressive pseudo label refinement 将伪标签逐步精炼与缓存更新结合，贡献于测试时适应中的伪标签利用与效率议题。negative pseudo labeling 针对伪标签噪声，提出在不确定时将伪标签分配给某些负类的策略，贡献于伪标签学习与噪声缓解这一子问题。在领域拓展与实证层面，论文把高效测试时适应置于预训练视觉-语言模型和分布偏移场景下，并在两个基准上与 state-of-the-art 比较有效性与效率。代码已发布，材料中给出项目链接，属于可复现性材料公开层面的贡献。
- 存在局限
- 实验仅覆盖两个基准，材料未交代基准名称、域偏移类型、类别分布和样本规模，因此结论在不同分布偏移场景下的外部效度无法判断。效率优势虽被强调为 super-efficient 且无反向传播，但材料未报告内存占用、时延、吞吐量或计算量等量化效率指标，无法核查其与 state-of-the-art 的效率差距。negative pseudo labeling 的触发条件、置信度阈值、负类选择规则与伪标签噪声比例均未说明，伪标签错误传播是否被充分抑制缺少可验证依据。key-value cache 的容量、更新频率、队列淘汰策略以及 progressive pseudo label refinement 的迭代步数未在材料中明确提及，组件贡献无法通过消融结果辨别。论文摘要只提供总体比较结论，未给出具体准确率数值或统计显著性信息，读者难以评估性能提升幅度。
- 进一步研究方向
- 后续可在材料所述两个基准之外，选取更多具有不同分布偏移类型和类别分布的视觉-语言测试集，按相同 TDA 流程报告准确率、内存、时延与吞吐量，检验效率与有效性的权衡。可针对 key-value cache 设计容量、更新频率、队列淘汰策略和键值匹配方式的消融实验，验证 progressive pseudo label refinement 在不同迭代步数与批次规模下的稳定性和收敛行为。可对 negative pseudo labeling 设置不同置信度阈值、负类数量与伪标签噪声比例，进行敏感性分析与错误传播追踪，确认该机制在何种不确定程度下降低伪标签噪声。可开展跨数据集或跨域的在线适应实验，比较有无反向传播、不同预训练视觉-语言模型骨干下的表现，以识别 TDA 的适用边界。可在同一实验协议下与更多 state-of-the-art 测试时适应方法进行逐项效率对比，并公开实现细节与超参数搜索范围。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning