01
课程导论与背景
资产配置动态平衡的概念、为什么需要强化学习、课程目标与学习路径。
概念动机
02
金融基础回顾
投资组合理论、马科维茨模型、有效前沿、夏普比率。
组合理论有效前沿
03
资产配置基础
战略资产配置(SAA)与战术资产配置(TAA)、再平衡策略。
SAA/TAA再平衡
04
动态平衡策略
恒定混合策略、买入并持有、投资组合保险策略(CPPI)。
恒定混合CPPI
05
强化学习入门
马尔可夫决策过程(MDP)、状态、动作、奖励、策略。
MDP策略
06
强化学习核心算法
Q-Learning、SARSA、Deep Q-Network (DQN)。
Q-LearningDQN
07
策略梯度方法
REINFORCE、Actor-Critic、PPO算法。
REINFORCEPPO
08
环境建模
金融市场的状态表示、价格序列、技术指标、宏观经济因子。
状态表示宏观因子
09
动作空间设计
离散动作（调仓比例）与连续动作（权重向量）。
离散/连续调仓
10
奖励函数设计
基于收益、风险调整收益（夏普、卡玛）、最大回撤惩罚。
夏普回撤惩罚
11
状态空间设计
历史收益率、波动率、相关性矩阵、市场情绪指标。
波动率情绪指标
12
数据预处理
金融时间序列的平稳化、归一化、特征工程。
平稳化归一化
13
回测框架搭建
事件驱动回测、滑点与交易成本建模。
事件驱动滑点
14
Gym环境构建
自定义OpenAI Gym环境用于资产配置。
Gym自定义
15
DQN实现资产配置
网络结构、经验回放、目标网络、训练流程。
DQN经验回放
16
PPO实现资产配置
PPO-Clip原理、实现细节、超参数调优。
PPO-Clip调优
17
多资产配置案例
股票、债券、商品、现金的权重优化。
多资产权重优化
18
风险约束集成
在RL中嵌入VaR、CVaR约束、杠杆限制。
VaRCVaR
19
交易成本影响
固定成本、比例成本、市场冲击模型。
固定成本市场冲击
20
鲁棒性分析
不同市场周期下的表现、过拟合检测。
市场周期过拟合
21
模型评估指标
累计收益、年化波动率、最大回撤、夏普比率、Calmar比率。
夏普Calmar
22
基准对比
与等权重、最小方差、风险平价策略对比。
等权重风险平价
23
超参数搜索
网格搜索、贝叶斯优化在RL中的应用。
网格搜索贝叶斯优化
24
多周期优化
考虑税收、现金流、再平衡频率的动态调整。
税收现金流
25
深度强化学习进阶
SAC、TD3算法在资产配置中的应用。
SACTD3
26
模仿学习与行为克隆
从专家策略（如风险平价）初始化RL。
行为克隆专家策略
27
多智能体强化学习
多基金经理协作或竞争场景。
多智能体协作/竞争
28
实盘部署考量
模型更新频率、推理延迟、API对接。
部署推理延迟
29
风险管理与监控
实时监控、异常检测、人工干预机制。
实时监控异常检测
30
课程总结与未来展望
当前局限、前沿方向（元学习、离线RL）。
元学习离线RL