01
风险控制总览
RL交易策略中的风险来源 · 传统风控局限 · 课程框架
概览思维
02
环境搭建与工具链
OpenAI Gym · Stable-Baselines3 · Backtrader 安装配置
环境工具
03
马尔可夫决策过程回顾
状态/动作/奖励函数设计对风控的影响
MDP基础
04
策略梯度与PPO算法
PPO核心原理 · clip机制 · 交易适用性
PPO策略
05
最大回撤约束
奖励函数嵌入回撤惩罚 · 代码实现与调参
回撤惩罚
06
夏普比率优化
夏普比率作为奖励信号 · 滚动窗口 · 防过拟合
夏普优化
07
卡尔曼滤波风险估计
实时波动率估计 · 动态仓位调整 · 代码实战
滤波波动率
08
VaR与CVaR约束
RL框架中引入VaR/CVaR惩罚 · 条件风险价值优化
VaRCVaR
09
杠杆控制机制
动态杠杆调整 · 基于波动率缩放 · 代码实现
杠杆风控
10
止损与止盈逻辑
RL智能体自动学习止损止盈 · 硬编码 vs 学习策略
止损止盈
11
仓位管理
凯利公式+RL · 固定/动态比例仓位 · 实战对比
仓位凯利
12
多资产组合风险分散
协方差矩阵估计 · 风险平价思想在RL中的应用
组合分散
13
黑天鹅事件应对
极端行情模拟 · 对抗训练 · 鲁棒性测试
黑天鹅鲁棒
14
流动性风险控制
买卖价差惩罚 · 滑点模拟 · 交易成本建模
流动性成本
15
过拟合检测与防范
滚动交叉验证 · 策略退化检测 · 早停机制
过拟合验证
16
对抗性攻击与防御
对手方模拟 · 对抗样本训练 · 策略鲁棒性提升
对抗防御
17
多智能体协同风控
主从架构 · 全局风险预算分配 · 冲突解决
多智能体协同
18
分层强化学习风控
高层策略定风险偏好 · 低层策略执行交易
分层HRL
19
安全强化学习基础
CMDP · 拉格朗日方法
安全CMDP
20
安全RL实战
Safety Gym交易风控训练 · 约束满足率评估
Safety实战
21
风险敏感RL
风险中性/厌恶/寻求策略对比与实现
风险敏感对比
22
熵正则化与探索控制
防止策略过于保守 · 平衡探索与利用
熵探索
23
模型不确定性量化
贝叶斯神经网络 · Dropout近似 · 策略置信度
不确定性贝叶斯
24
离线RL与风控
历史数据训练 · 保守Q学习(CQL) · 避免分布外动作
离线CQL
25
模仿学习与风控
从专家学习风控规则 · 行为克隆与GAIL
模仿GAIL
26
实时监控与告警系统
RL交易监控面板 · 异常检测 · 自动熔断
监控告警
27
回测陷阱与矫正
生存偏差 · 前视偏差 · 多重测试偏差 · 避免方法
回测偏差
28
实盘部署风控
交易接口安全 · 资金划转限制 · 人工干预机制
实盘部署
29
合规与监管要求
算法交易法规 · 风控审计 · 报告生成
合规监管
30
综合实战项目
完整RL交易风控系统 · 回测到模拟交易全流程
实战全流程