基于因果世界模型的可解释强化学习
Explainable Reinforcement Learning via a Causal World Model
Zhongwei Yu, Jingqing Ruan, Dengpeng Xing
International Joint Conference on Artificial Intelligence · 2023-08-01
开放获取生成式与扩散被引 20被引前 50%影响因子 ≈0.9
摘要
强化学习（RL）的生成式解释颇具挑战性，因为行动往往会对未来产生长期影响。本文提出了一种全新的可解释强化学习框架，该框架无需预先知晓环境的因果结构即可学习因果世界模型。该模型能够捕捉行动所产生的影响，从而通过因果链来解读行动的长期效应——这些因果链揭示了行动如何影响环境变量并最终产生奖励。与大多数准确性较低的解释模型不同，我们的模型在提升可解释性的同时仍能保持较高准确性，因此可应用于基于模型的学习过程。研究结果表明，该因果模型能够有效充当可解释性与学习之间的桥梁。
本摘要由 AI（Hy-MT2-Pro）翻译生成，仅供参考，请以原文为准。
AI 综述
基于全文生成- 主要观点
- 论文针对强化学习中动作长期效应难以解释的问题，提出把可解释性建立在一个可学习的因果世界模型上，而非依赖领域专家预先给定因果结构。其核心论断是，通过对因子化MDP中的状态、动作、结果与奖励变量进行因果建模，可将动作对环境的长期影响表述为动作影响环境变量并最终导向奖励的因果链。该模型不采用密集全连接预测器，而学习稀疏因果结构，因而在连续动作空间中也能将统一SCM转换为AIM以生成解释。作者进一步主张，解释模型若保持足够预测精度，就能同时服务于基于模型的策略学习，从而缓解可解释性与性能之间的取舍。
- 研究方法
- 方法在因子化MDP上展开，将状态、动作、结果和奖励分解为变量，并在回放缓冲区数据上执行因果发现。因果发现假定给定输入变量u后输出变量v相互独立，因而只需判定每对(u_i,v_j)是否存在边，采用Fast CIT以条件独立检验u_i与v_j在u_-i下是否独立来确定父变量。结构方程由注意力推理网络拟合，变量编码器统一异构输入，GRU编码动作，键向量与查询向量计算状态变量和动作的影响权重，贡献向量加权后经分布解码器输出正态或分类后验。因果链分析将SCM转换为AIM，以阈值τ筛除弱影响父变量，并按策略模拟H步最可能轨迹，在扩展图上搜索从起始状态到目标奖励变量的路径。实验覆盖Lunarlander-Continuous、Build-Marine、Cartpole和Lunarlander-Discrete，其中Lunarlander-Continuous使用150k样本、7个状态变量、2个连续动作变量和3个结果变量，MBRL部分采用5模型bootstrap ensemble、k-step model-rollouts和PPO。
- 学术贡献
- 在理论建构层面，论文把因果世界模型作为可解释RL与基于模型学习之间的桥梁，提出不依赖环境因果结构先验的学习框架，并给出统一SCM转换为AIM的构造。在方法创新层面，注意力推理网络将动作影响显式编码为影响权重，使因果链可提取，且适应连续动作空间，区别于要求有限动作空间和专家给定因果结构的AIM。在材料与实验资源层面，论文公开源代码与arXiv扩展版，实验覆盖连续与离散动作空间，并设计环境测量恢复ground-truth AIM因果依赖的准确度。在领域拓展层面，该工作直接关联XRL中长期效应解释、因果发现用于世界模型、以及解释模型参与策略学习这三个议题。
- 存在局限
- 因果发现将输出变量视为在给定输入下独立，因此只学习u到v的二部图，无法表达下一状态变量或结果变量之间的横向依赖。推理网络需预设后验分布类型，并以正态或分类分布分别处理实数与离散变量，材料未说明混合类型或高维观测变量如何抽象。因果图稀疏度由阈值η控制，因果链显著性由阈值τ和模拟步长H控制，节选只给出阈值影响稀疏性与准确性的理论说明，未报告这些超参数的敏感性或自动选择。实验虽提及用专门环境测量恢复ground-truth AIM因果依赖的准确度，但节选未呈现该系统结果，也未提供与稠密世界模型、AIM或其他XRL解释方法的定量比较。MBRL评测仅使用5模型集成、PPO与若干Gym或SC2LE环境，材料未涉及真实高维、非平稳或多智能体场景。解释是否提升人类理解，材料中未明确提及用户研究。
- 进一步研究方向
- 可在具有已知因果结构的因子化环境中开展干预实验，系统测量因果边恢复、动作影响权重和因果链与ground-truth AIM的一致性，并报告不同样本量下的稳定性。可对阈值η、影响阈值τ和模拟步长H做敏感性分析与自适应选择，检验其如何改变解释稀疏度、因果链长度与模型预测误差。可设计人类受试者实验，将因果链解释与显著性图、事后解释对比，测量受试者对动作长期后果、反事实动作和策略意图的理解差异。可利用因果链进行反事实解释与策略修正，例如在MBRL训练中把因果链上高风险变量纳入安全约束或奖励分解，验证是否改善样本效率与策略安全性。可扩展模型以允许输出变量间的横向边和非二部因果图，并研究从高维观测中抽象因果变量后再执行因果发现与因果链分析的路径。
本综述由 AI（deepseek-flash）阅读开放获取全文自动生成，仅供参考，不代表原文作者观点，请以原文为准。
参考文献
相关论文
话题：Explainable Artificial Intelligence (XAI)