面向视觉语言模型的无遗忘学习
Learning Without Forgetting for Vision-Language Models
Da-Wei Zhou, Yuanhan Zhang, Yan Wang, Jingyi Ning, Han-Jia Ye, De‐Chuan Zhan, Ziwei Liu
IEEE Transactions on Pattern Analysis and Machine Intelligence · 2025-02-11
摘要
视觉语言模型在现实世界中需要具备类增量学习或持续学习的能力，即要求学习系统能够适应新任务而不丢失已有知识。传统类增量学习方法主要依托视觉信息来提取核心特征，而近年来视觉语言模型借助文本信息的辅助，在习得可泛化表征方面展现出巨大潜力。然而，当这类模型被持续训练以学习新类别时，往往会出现对原有知识的灾难性遗忘现象。将视觉语言模型应用于类增量学习面临两大挑战：一是如何实现无遗忘的模型适配，二是如何充分利用多模态信息。针对这些问题，本研究提出投影融合（Proof）方法，使视觉语言模型能够实现无遗忘学习。为解决首个挑战，我们基于冻结的图像/文本编码器训练任务特定的投影层；面对新任务时，仅需扩展新的投影层并固定原有投影层，从而缓解对旧有概念的遗忘。对于第二个挑战，我们设计了融合模块以更有效地利用跨模态信息，通过协同调整视觉与文本特征，模型能够捕捉更优的任务特定语义信息，进而提升识别能力。在涵盖多种持续学习场景及不同视觉语言模型的九个基准数据集上进行的大量实验表明，Proof方法取得了最优性能。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对类增量学习（CIL）中预训练视觉-语言模型（以 CLIP 为例）在连续接触新类时出现的灾难性遗忘问题，提出 PROOF（PROjectiOn Fusion）框架，并主张 VLM 的持续学习必须同时满足「保持性（retentive）」与「全面性（comprehensive）」两项要求。论文把将 VLM 用于 CIL 的困难归结为两点：顺序微调会同时破坏预训练泛化能力与旧类概念；仅依赖文本信息分类会忽略多模态输入中的跨模态特征。针对前者，论文主张冻结图像与文本编码器，用任务专属线性投影承载任务特定信息，新任务到来时扩展新投影并冻结旧投影，再以多阶段投影聚合得到统一表示。针对后者，论文主张以视觉原型与文本分类器共同构成上下文，并配合可学习的上下文提示，经 set-to-set 融合函数对查询嵌入与上下文做协同调整，以弥补 VLM 中视觉嵌入与文本嵌入之间的域间隙。论文还主张推理阶段应同时执行视觉匹配与文本匹配，形成聚合推理格式，而非只依赖文本分类器。论文声明该框架在九个基准数据集与一个非重叠电视剧分类数据集上，于多种增量场景与多种 VLM 下达到最优性能。
- 研究方法
- 方法路径为「冻结骨干＋任务专属可扩展线性投影」的参数隔离式增量微调：投影 Pi、Pt: R^d→R^d 附加于冻结的 CLIP 图像编码器 gi(·) 与文本编码器 gt(·) 之后，把式(2)的零样本余弦分类改写为投影空间中的匹配（式5）。训练时仅以交叉熵损失优化当前任务的投影，前序任务投影保持冻结，并以各阶段投影输出之和作为统一表示（式6）。上下文构造上，视觉原型 pk 由每个增量阶段开始时对当前任务数据 Db 做一次前向传播取类均值得到并在此后固定（式7），与文本分类器拼接为 [P, W]，再并入一组可学习上下文提示 {c1,…,cb}。融合由置换不变的 set-to-set 函数 T(·) 实现，内部使用自注意力（W_q、W_k、W_v 加 Add & LN），输出经调整的查询嵌入与上下文。实验以九个基准数据集和一个非重叠电视剧分类数据集为样本，覆盖包括 CIL 与持续跨模态检索在内的多种增量场景与多种 VLM，并与 L2P、DualPrompt、CODA-Prompt、CoOp、Tip-Adapter 等典型方法对照；材料另提及投影可在推理阶段合并以缓解存储开销。材料中未明确提及具体数据集名称、任务数目、exemplar 数量与超参数设定。
- 学术贡献
- 在框架层面，论文把「冻结预训练骨干＋任务专属参数隔离」的增量学习范式从单模态 ViT 迁移到多模态 VLM，并明确区分持续学习所需的保持性与全面性两个维度，对 CIL 与 VLM 下游适配两议题的交叉地带具有直接价值。在方法层面，论文提出可扩展投影与投影融合机制、以视觉原型充当视觉上下文的跨模态融合模块，以及同时进行视觉匹配与文本匹配的聚合推理格式；材料指出既有 CLIP 调优工作（CoOp、CoCoOp、CLIP-Adapter 等）只处理下游迁移而不考虑旧任务保持，S-Prompts 仅涉及域增量学习，本文意在填补这一空白。在实证层面，论文在九个基准数据集与一个非重叠电视剧分类数据集上报告最优结果，并把评测从 CIL 扩展到持续跨模态检索，同时检验方法对不同 VLM 的可迁移性。在工程层面，论文说明单层投影参数量为 d×d、相对预训练模型可忽略，且投影可在推理阶段合并以降低存储预算。
- 存在局限
- 所提供材料为论文节选，在 4.2 节「Learning Context Prompts」处中断，实验章节的具体数值、消融设计与统计显著性均未呈现，「九个基准数据集上达到 SOTA」这一论断在材料范围内无法核验。投影层数量随任务数线性增长，材料虽提及可通过合并降低存储，但未明确给出合并所导致的精度损失量级，也未明确提及融合模块在推理时的计算开销定量比较。视觉原型在每个增量阶段开始时基于 Db 单次前向传播计算后即固定，其估计质量依赖当前任务的类内分布，材料中未明确提及该估计在小样本或类别不均衡条件下的稳健性分析。评测仍沿用需保留固定数量 exemplar 集 E 的典型 CIL 设定，材料中未明确提及在 exemplar 集为空时方法是否仍然有效。文本分支仍依赖「a photo of a [CLASS]」一类模板文本，材料中未明确提及模板措辞对结果的影响，也未提供对模板选择的敏感性分析。
- 进一步研究方向
- 可在任务数显著增长（如二十个以上增量阶段）的长序列设定下追踪投影数量增长与精度、存储占用的关系，并量化投影合并前后的精度差，以检验「可合并」这一工程主张的实际代价。可以材料中列出的其他 VLM（ALIGN、CoCa、Florence、BLIP、CLIPPO、Flamingo）为骨干，重点检验模态结构差异（如 Flamingo 的交叉注意力）对融合模块设计的影响，而非仅重复整套流程。可将视觉原型的构造由单阶段前向均值改为跨阶段累积估计或由特征回放、生成式重放生成，在 exemplar 集为空的设定下检验其效果。可对可学习上下文提示的长度 c、数量与投影阶段数做联合消融，并以注意力权重可视化检验融合模块是否确实捕捉到论文所举例的「黑眼圈」「胡须」等判别性属性——材料中该论述目前仅为定性说明。可在持续跨模态检索任务上细分评测协议，分别报告图像检索文本与文本检索图像等分项指标，材料中虽称该方法在此任务上表现强，但未明确给出分项结果。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Domain Adaptation and Few-Shot Learning