01
课程导论
强化学习在资产配置中的价值 · 课程目标与学习路径 · 必备数学与编程基础
入门概览
02
金融基础回顾
投资组合理论 · 风险与收益度量 · 有效前沿与夏普比率
金融核心
03
强化学习基础
马尔可夫决策过程（MDP）· 状态、动作、奖励 · 策略与价值函数
RL基础
04
动态规划与资产配置
策略迭代与值迭代 · 贝尔曼方程在投资中的应用
规划贝尔曼
05
蒙特卡洛方法
蒙特卡洛预测与控制 · 探索性初始化 · 在回测中的应用
采样回测
06
时序差分学习
TD(0) · SARSA算法 · Q-learning入门
TD在线
07
Q-learning实战
离散动作空间的资产配置 · Q表设计与更新
实战离散
08
深度Q网络（DQN）
神经网络拟合Q函数 · 经验回放 · 目标网络
DQN深度
09
DQN改进
Double DQN · Dueling DQN · 优先经验回放
进阶优化
10
策略梯度方法
REINFORCE算法 · 策略梯度定理 · 连续动作空间
策略连续
11
Actor-Critic架构
A2C/A3C算法 · 优势函数 · 并行训练
AC并行
12
近端策略优化（PPO）
PPO-Clip与PPO-Penalty · 稳定训练技巧
PPO稳定
13
软演员-评论家（SAC）
最大熵强化学习 · 自动温度调节
SAC熵
14
环境搭建
Gymnasium自定义金融环境 · 数据接口与预处理
环境Gym
15
状态空间设计
技术指标 · 宏观经济因子 · 市场情绪指标
特征因子
16
动作空间设计
离散权重分配 · 连续权重调整 · 交易成本建模
动作成本
17
奖励函数工程
夏普比率奖励 · 最大回撤惩罚 · 换手率正则化
奖励夏普
18
回测框架实现
滚动窗口训练-验证-测试 · 避免未来信息泄露
回测验证
19
多资产配置实战
股票+债券+商品 · 动态权重调整
多资产实战
20
风险管理集成
VaR约束 · CVaR优化 · 杠杆控制
风控VaR
21
交易成本与滑点
冲击成本模型 · 固定比例成本 · 滑点模拟
成本滑点
22
市场状态切换
隐马尔可夫模型（HMM）检测市场状态 · 条件策略
HMM状态
23
集成学习与模型融合
多个RL模型投票 · 加权平均策略
集成融合
24
超参数调优
学习率 · 折扣因子 · 网络结构 · 批量大小的调参技巧
调参技巧
25
稳健性检验
不同市场周期测试 · 参数敏感性分析 · 压力测试
稳健压力
26
实盘部署要点
模型序列化 · 推理延迟优化 · 监控与告警
部署工程
27
前沿方向
多智能体强化学习 · 元强化学习 · 逆强化学习
前沿研究
28
伦理与风险
过拟合风险 · 模型可解释性 · 合规要求
伦理合规
29
项目实战一
基于DQN的股票-债券动态配置系统
DQN股票债券
30
项目实战二
基于PPO的多资产全天候组合管理
PPO全天候