面向混合专家语言模型中机器反学习的路由感知专家校准
Routing-Aware Expert Calibration for Machine Unlearning in Mixture-of-Experts Language Models
Jingyi Xie, Yijun Lin, Yinjiang Xiong, Zhikun Zhang, Sai Li
arXiv (Cornell University) · 2026-06-09
摘要
机器反学习对于大型语言模型而言愈发重要，但混合专家架构下的反学习研究仍相对匮乏。与密集型模型不同，混合专家架构在每一层都配备一个路由器，用于将每个词元分配给一小部分专家。本研究发现，待遗忘数据往往会过度激活某一小部分专家，而这些专家从保留数据中获得的激活程度却相对较弱。这种遗忘数据与保留数据的路由不匹配现象，会导致反学习过程中对关键遗忘专家的约束不足。为解决这一问题，我们提出了\textbf{TRACE}，即面向混合专家反学习的目标导向型路由感知专家校准方法。TRACE首先基于离线激活统计数据识别出关键遗忘专家，随后通过重新加权词元层面的保留损失来对保留数据的正则化过程进行校准，从而使选定专家在保留侧的激活频率与其在遗忘侧的激活频率更为匹配。在WMDP和MUSE-BOOKS数据集上针对多种混合专家语言模型开展的实验表明，TRACE能够持续优化遗忘效果与实用性的平衡：在保持相近的遗忘质量的前提下，其相对实用性较最优基线提升了9%；在MUSE-BOOKS的四个评估指标中，有三个指标的表现均优于其他基准方法。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于摘要生成- 主要观点
- 论文关注 Mixture-of-Experts（MoE）架构下的大语言模型机器遗忘，指出该方向相对于稠密模型仍未被充分探索。MoE 每层通过 router 将 token 分配给稀疏专家子集，遗忘数据往往不成比例地激活少量专家，而这些专家从保留数据获得的激活较弱。这种 forget-retain routing mismatch 使得 forget-critical experts 在遗忘过程中正则化不足。为此论文提出 TRACE（Targeted Routing-Aware Calibration of Experts），先基于离线激活统计检测 forget-critical experts，再通过重加权 token-level retain loss 校准保留侧正则化，使被选专家的 retain 侧激活频率更接近其 forget 侧水平。在 WMDP 与 MUSE-BOOKS 上对多个 MoE LLM 的实验显示，TRACE 在可比遗忘质量下相对最强基线取得 9% 效用提升，并在 MUSE-BOOKS 四项指标中的三项取得最佳。
- 研究方法
- 方法路径是先以离线激活统计检测 forget-critical experts，再对保留数据的 token-level retain loss 进行重加权，以匹配所选专家在 forget 侧与 retain 侧的激活频率。评测在 WMDP 与 MUSE-BOOKS 两个基准上展开，覆盖多个 MoE LLM。比较对象为最强基线，评价维度包括遗忘质量、效用以及 MUSE-BOOKS 多项指标。材料中未明确提及离线统计的窗口、阈值、token 采样方式、重加权函数形式、实验超参数与算力开销。
- 学术贡献
- 在问题层面，论文将 MoE 机器遗忘中的 forget-retain routing mismatch 识别为导致 forget-critical experts 正则化不足的机制，补充了 MoE 架构下遗忘研究对路由与专家激活的关注。在方法层面，提出 TRACE，把 forget-critical experts 的离线检测与 token-level retain loss 重加权结合，用于校准保留侧正则化。在实证层面，于 WMDP 和 MUSE-BOOKS 上跨多个 MoE LLM 验证，报告在可比遗忘质量下相对最强基线 9% 的效用提升，并在 MUSE-BOOKS 四项指标中的三项取得最佳。这些贡献主要面向 MoE 大语言模型机器遗忘与遗忘-效用权衡议题。
- 存在局限
- 材料未给出 forget-critical experts 的检测阈值、离线激活统计的样本规模与稳定性检验，专家选择对统计噪声是否敏感无法判断。重加权 token-level retain loss 可能改变保留数据中非目标专家的激活分布，但材料未报告对非 forget-critical experts 或通用保留能力的影响。实验虽覆盖多个 MoE LLM，但未说明模型规模、专家数量、路由策略与训练阶段，因此 9% 相对效用提升的跨架构可复现性缺少边界条件。MUSE-BOOKS 四项指标中仅报告三项最佳，剩余一项的表现以及 comparable forgetting quality 的判定标准未量化。材料未说明与最强基线比较时的计算开销、超参数搜索范围和显著性检验。
- 进一步研究方向
- 可做专家选择消融：系统改变 forget-critical expert 的检测阈值与选取数量，观察遗忘质量、效用和路由激活分布的变化，以确定稳定选择区间。可在不同 MoE 配置上复现：报告并比较不同专家数量、每 token 激活专家数、路由算法与层数的 MoE LLM，检验 TRACE 的适用边界。可分析重加权 token-level retain loss 对非目标专家与保留集子群的影响，使用逐层路由激活统计和逐专家 retain/forget 激活频率差进行诊断。可将 TRACE 与不同遗忘目标函数组合，在 WMDP 与 MUSE-BOOKS 的完整指标集上检验，并量化 comparable forgetting quality 的等价条件。可报告多次运行的方差、计算开销与超参数敏感性，明确效用提升是否由遗忘质量牺牲或超参数选择导致。
本综述由 AI（deepseek-flash）基于摘要自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Privacy-Preserving Technologies in Data