强化学习量化模型解释性实战

📚 共计 30 章节
01
解释性基础
为什么量化模型需要解释性?RL模型的黑箱问题与金融合规要求。
黑箱合规
02
价值函数可视化
如何可视化Q值表与状态价值函数,理解智能体的决策偏好。
Q值偏好
03
策略热力图分析
通过动作概率分布热力图,揭示智能体在不同市场状态下的交易倾向。
热力图概率
04
特征重要性分析
使用SHAP/LIME解释RL模型的状态特征重要性,识别关键市场因子。
SHAPLIME
05
奖励分解机制
将总奖励分解为各时间步/各动作的贡献,理解智能体的学习动力来源。
贡献动力
06
轨迹回放与归因
回放交易轨迹,使用归因算法(如TD误差)标记关键决策点。
TD误差归因
07
注意力机制可视化
如果模型使用Attention,可视化注意力权重,理解模型关注的市场时段。
Attention权重
08
策略对比分析
对比不同训练阶段(初期/中期/成熟期)的策略差异,解释学习过程。
阶段演化
09
反事实解释
生成反事实样本(如果当时买入而非卖出会怎样?),解释决策边界。
反事实边界
10
决策树代理模型
用可解释的决策树拟合RL策略,提取显式交易规则。
决策树规则
11
线性代理模型
用线性模型局部近似RL策略,解释特定交易决策的线性权重。
线性权重
12
敏感性分析
对输入状态变量进行扰动,观察策略输出的变化,量化敏感度。
扰动敏感度
13
极限梯度提升(SHAP)全局解释
使用SHAP全局特征重要性,解释模型长期依赖的市场因子。
SHAP全局
14
局部可解释模型(LIME)
对单笔交易进行LIME解释,理解该笔交易的关键触发因素。
LIME局部
15
积分梯度法
使用积分梯度归因状态序列,解释连续决策过程中的状态贡献。
积分梯度归因
16
DeepLIFT方法
对比激活值与参考值,解释深度RL网络中神经元的贡献。
DeepLIFT神经元
17
引导式反向传播
可视化卷积层/全连接层的梯度,解释模型关注的K线形态。
梯度K线
18
类激活映射(CAM)
对CNN-based RL模型,生成类激活图,解释模型识别的价格模式。
CAM价格模式
19
概念激活向量(CAV)
定义高级概念(如波动率上升),测试模型对该概念的敏感性。
CAV概念
20
对抗样本解释
生成对抗样本,解释模型在边界情况下的脆弱性与决策盲区。
对抗脆弱性
21
不确定性量化
使用MC Dropout或Ensemble方法,量化策略预测的不确定性,解释模型置信度。
MC Dropout置信度
22
贝叶斯RL解释
利用后验分布解释策略参数的不确定性,理解模型在不同市场下的可信度。
后验可信度
23
因果解释
使用因果推断(如Do-calculus)解释策略的因果效应,区分相关性与因果性。
因果Do-calculus
24
结构化解释
将策略分解为子策略(如入场/出场/仓位管理),分别解释各模块逻辑。
子策略模块
25
自然语言解释生成
将策略决策自动翻译为自然语言描述(如“因RSI超卖而买入”)。
NLGRSI
26
交互式解释面板
构建Dash/Streamlit面板,支持用户交互式探索模型解释结果。
DashStreamlit
27
解释性评估指标
如何量化解释的质量?忠实度、可理解性、完备性等指标详解。
忠实度完备性
28
金融监管与解释性
MiFID II、SEC等监管对算法交易解释性的要求与合规实践。
MiFID IISEC
29
案例实战:DQN策略解释
使用SHAP+LIME解释一个完整的DQN交易策略,输出解释报告。
DQN实战
30
前沿展望
可解释RL在量化领域的最新研究(XRL、概念瓶颈模型、神经符号方法)。
XRL神经符号