01
课程导论与金融背景
投资组合理论回顾、风险度量指标（波动率、VaR、CVaR）、传统风险控制方法的局限性。
金融基础风险度量
02
强化学习基础
马尔可夫决策过程（MDP）、状态、动作、奖励、策略、价值函数。
MDP核心概念
03
强化学习核心算法
Q-Learning、SARSA、Deep Q-Network (DQN) 的原理与对比。
Q-LearningDQN
04
策略梯度方法
REINFORCE、Actor-Critic 算法，为什么适合连续动作空间。
策略梯度Actor-Critic
05
环境搭建
使用 Gymnasium 创建自定义交易环境，定义状态空间与动作空间。
Gymnasium交易环境
06
状态设计
技术指标（移动平均、RSI、布林带）、市场情绪、宏观经济因子。
技术指标特征工程
07
奖励函数设计
夏普比率、最大回撤惩罚、交易成本惩罚、风险调整后的收益。
奖励塑形风险调整
08
风险约束嵌入
动作空间约束（杠杆、行业集中度），安全层（Safety Layer）技术。
安全层合规
09
基于 DQN 的离散仓位控制
仓位调整离散化，实现多空仓位选择。
DQN离散动作
10
基于 PPO 的连续仓位控制
近端策略优化算法，处理连续调仓比例。
PPO连续控制
11
基于 SAC 的探索与风险平衡
软演员-评论家算法，自动熵调节与风险敏感探索。
SAC熵调节
12
多资产组合管理
扩展状态与动作空间，处理资产间相关性。
多资产相关性
13
动态风险预算
使用强化学习动态分配风险预算，替代固定权重模型。
风险预算动态配置
14
尾部风险控制
在奖励函数中加入 CVaR 惩罚项，应对极端市场事件。
CVaR尾部风险
15
回测框架实现
向量化回测评估系统，计算累计收益、夏普比率、最大回撤。
回测评估指标
16
过拟合与鲁棒性
对抗验证、滚动窗口训练、正则化技术在强化学习中的应用。
鲁棒性正则化
17
市场冲击与流动性成本
模拟滑点与流动性限制，训练模型适应低流动性场景。
流动性滑点
18
多时间尺度决策
结合日频信号与分钟频执行，使用分层强化学习（HRL）。
HRL多尺度
19
基于 Transformer 的状态编码
时间序列 Transformer 提取市场特征，替代传统技术指标。
Transformer时序编码
20
模仿学习与预训练
利用专家策略（等权重、风险平价）进行行为克隆，加速训练。
行为克隆预训练
21
逆强化学习
从历史数据中推断隐含的奖励函数，理解市场风险偏好。
IRL奖励推断
22
多智能体强化学习
模拟多个基金之间的博弈，学习竞争或合作策略。
多智能体博弈
23
元强化学习
训练模型快速适应新的市场环境，实现“学会如何学习”。
元学习快速适应
24
模型可解释性
使用 SHAP 值、注意力权重可视化，解释智能体的决策逻辑。
SHAP可解释性
25
分布式训练与部署
使用 Ray RLlib 进行大规模并行训练，模型导出与实盘部署。
Ray分布式
26
实盘注意事项
数据延迟、交易成本、滑点、过拟合监控、人工干预机制。
实盘运维
27
案例研究一：加密货币网格交易
基于 DQN 的加密货币网格交易策略。
加密货币网格交易
28
案例研究二：股票多因子组合优化
基于 PPO 的股票多因子组合优化。
多因子PPO
29
案例研究三：期权波动率交易
基于 SAC 的期权波动率交易策略。
期权波动率
30
课程总结与未来展望
强化学习在投资组合管理中的前沿方向（基础模型、离线强化学习）。
前沿离线RL