第1章
课程导论：资产配置的挑战与强化学习的机遇
课程目标与学习路径图，开启智能配置之旅
入门概览
第2章
金融基础回顾
投资组合理论、有效前沿、夏普比率、最大回撤
金融核心指标
第3章
强化学习基础
马尔可夫决策过程 (MDP) · 状态·动作·奖励·策略
RL基础MDP
第4章
价值函数与策略
状态价值函数 V(s)、动作价值函数 Q(s,a)、策略梯度
价值函数策略
第5章
经典RL算法
Q-Learning、SARSA、Deep Q-Network (DQN) 原理
DQNQ-Learning
第6章
策略梯度算法
REINFORCE、Actor-Critic 架构详解
策略梯度Actor-Critic
第7章
PPO算法
近端策略优化，稳定训练的核心技巧
PPO稳定训练
第8章
环境搭建
Gymnasium库介绍，自定义金融交易环境
环境Gym
第9章
数据获取与预处理
使用yfinance获取股票数据，计算收益率与风险因子
数据yfinance
第10章
状态空间设计
如何将市场数据（价格、成交量、技术指标）编码为状态
状态特征工程
第11章
动作空间设计
离散动作（调仓比例）vs 连续动作（权重向量）
动作离散/连续
第12章
奖励函数设计
最大化夏普比率、最小化回撤、交易成本惩罚
奖励夏普
第13章
单资产配置
使用RL模型进行单一资产的择时交易
单资产择时
第14章
多资产配置
构建包含股票、债券、商品的动态投资组合
多资产组合
第15章
风险管理集成
在RL框架中嵌入VaR（在险价值）和CVaR约束
风险VaR
第16章
交易成本建模
滑点、佣金对策略的影响，如何在环境中模拟
成本滑点
第17章
回测框架搭建
基于历史数据的策略回测，性能评估指标
回测评估
第18章
超参数调优
学习率、折扣因子、网络结构对策略的影响
调优超参数
第19章
过拟合与泛化
时间序列交叉验证，滚动窗口训练
泛化交叉验证
第20章
基准模型对比
等权重、最小方差、风险平价策略对比
基准风险平价
第21章
深度网络架构
MLP、LSTM、Transformer在状态编码中的应用
深度学习LSTM
第22章
多智能体强化学习
多个基金/资产间的协同与竞争
多智能体协同
第23章
逆强化学习
从专家交易数据中学习奖励函数
逆RL专家
第24章
离线强化学习
使用历史数据训练，不与环境交互
离线Batch RL
第25章
模型可解释性
SHAP值、注意力机制分析策略决策逻辑
可解释性SHAP
第26章
实盘部署挑战
市场微观结构、延迟、数据漂移
部署微观结构
第27章
案例研究1：基于DQN的加密货币组合管理
加密货币市场实战，DQN配置策略
案例加密货币
第28章
案例研究2：基于PPO的宏观对冲策略
宏观因子驱动，PPO动态对冲
案例宏观对冲
第29章
前沿方向：元学习、世界模型在资产配置中的应用
元学习与基于模型的RL前沿探索
前沿元学习
第30章
课程总结
知识体系回顾，未来学习路径与资源推荐
总结路径