01
课程导论与预备知识
强化学习在量化择时中的价值 · 课程目标与学习路径 · Python与PyTorch环境配置
导论环境配置
02
金融时间序列基础
股票价格与收益率 · 对数收益率计算 · 数据可视化与平稳性检验
时间序列平稳性
03
强化学习核心概念
智能体、环境、状态、动作、奖励、策略与价值函数
RL基础MDP
04
马尔可夫决策过程
MDP五元组 · 状态转移概率 · 回报与折扣因子
MDP折扣因子
05
动态规划与策略迭代
策略评估 · 策略改进 · 策略迭代与值迭代算法
动态规划值迭代
06
蒙特卡洛方法
蒙特卡洛预测 · 蒙特卡洛控制 · 探索与利用的平衡
MC探索利用
07
时序差分学习
TD(0)算法 · SARSA算法 · Q-Learning算法
TDQ-Learning
08
深度Q网络
DQN原理 · 经验回放 · 目标网络 · Double DQN & Dueling DQN
DQN目标网络
09
策略梯度方法
REINFORCE算法 · 策略梯度定理 · Baseline技巧
策略梯度REINFORCE
10
Actor-Critic架构
A2C算法 · 优势函数 · GAE广义优势估计
Actor-CriticGAE
11
PPO算法
PPO-Clip与PPO-Penalty · 重要性采样 · 信任区域
PPO信任区域
12
择时问题建模
将择时转化为MDP · 状态空间设计（技术指标、量价特征）
择时建模状态空间
13
动作空间设计
离散动作（持仓比例）与连续动作（仓位控制）
动作空间离散/连续
14
奖励函数设计
夏普比率 · 最大回撤 · 累计收益 · 风险调整奖励
奖励函数夏普比率
15
环境构建
基于Backtrader或Gym的自定义交易环境
环境Backtrader
16
数据预处理与特征工程
归一化 · 滚动窗口 · 技术指标计算（MACD, RSI, BOLL）
特征工程MACD
17
训练与验证框架
时间序列交叉验证 · 滚动回测 · 过拟合检测
验证交叉验证
18
基于DQN的择时策略
状态编码 · 网络结构 · 训练流程与回测
DQN择时回测
19
基于PPO的择时策略
连续动作实现 · 网络输出层设计 · 训练稳定性
PPO择时连续控制
20
多因子与多资产择时
多资产状态拼接 · 共享网络与独立网络对比
多因子多资产
21
风险管理与约束
仓位限制 · 止损机制 · 波动率调节
风险管理止损
22
交易成本建模
滑点 · 佣金 · 冲击成本对策略的影响
交易成本滑点
23
策略评估指标
年化收益率 · 夏普比率 · 最大回撤 · Calmar比率 · 胜率
评估夏普
24
超参数调优
学习率 · 折扣因子 · 网络层数 · 经验池大小的影响
超参数调优
25
对比基准策略
买入持有 · 均线策略 · 动量策略 · 随机策略
基准对比
26
实盘模拟与注意事项
API对接 · 数据延迟 · 模型更新频率
实盘API
27
模型可解释性
注意力机制 · 特征重要性 · 策略行为分析
可解释性注意力
28
前沿方向
多智能体强化学习 · 模仿学习 · 离线强化学习在择时中的应用
前沿多智能体
29
课程总结与项目实战
从零搭建一个完整的RL择时系统
实战总结
30
附录
常见问题与调试技巧 · 资源推荐 · 社区与论文阅读指南
附录资源