第1章
课程导论
强化学习在量化交易中的价值 · 课程目标与学习路径 · 所需技术栈概览
入门概览
第2章
量化交易基础回顾
市场微观结构 · 订单簿与撮合机制 · 常见交易策略类型
基础市场
第3章
强化学习核心概念
智能体 · 环境 · 状态 · 动作 · 奖励 · 策略 · 价值函数
核心RL
第4章
马尔可夫决策过程
MDP五元组 · 状态转移概率 · 回报与折扣因子 · 策略评估与迭代
MDP数学
第5章
基于价值的强化学习
Q-Learning · Sarsa · DQN · Double DQN · Dueling DQN
价值DQN
第6章
基于策略的强化学习
策略梯度定理 · REINFORCE · Actor-Critic架构
策略Actor-Critic
第7章
环境搭建 (Gymnasium)
安装与配置 · 自定义环境接口 · 动作空间与观测空间定义
环境Gym
第8章
数据获取与预处理
yfinance/baostock · 数据清洗与对齐 · 特征工程
数据预处理
第9章
回测引擎核心设计
事件驱动架构 · 资金管理 · 订单管理 · 滑点与手续费模拟
回测引擎
第10章
状态空间设计
市场状态编码 · 持仓状态编码 · 账户状态编码
状态编码
第11章
动作空间设计
离散动作 · 连续动作 · 动作约束与归一化
动作空间
第12章
奖励函数设计
基础PnL · 风险调整奖励 · 稀疏与密集奖励
奖励设计
第13章
策略网络架构
全连接网络 · LSTM/GRU · Transformer在金融时序中的应用
网络架构
第14章
训练循环实现
环境交互 · 经验回放 · 目标网络 · 梯度更新与学习率调度
训练循环
第15章
多智能体与分布式训练
A2C/A3C · 多环境并行采样 · 参数同步策略
分布式多智能体
第16章
策略评估与回测
训练/验证/测试集划分 · 滚动回测 · Walk-Forward分析
评估过拟合
第17章
风险管理模块
止损止盈 · 凯利公式 · 风险平价 · 黑天鹅处理
风险仓位
第18章
实盘模拟与对接
模拟交易API · 延迟与网络问题 · 日志与监控系统
实盘API
第19章
超参数优化
网格搜索 · 贝叶斯优化 · Optuna · 敏感性分析
调参Optuna
第20章
可视化与报告
训练曲线 · 回测绩效报告 · 收益率曲线 · 交易记录分析
可视化报告
第21章
案例实战1：单股票高频交易
基于DQN的做市策略 · 日内高频
实战高频
第22章
案例实战2：多股票组合管理
基于PPO的资产配置策略 · 组合管理
实战组合
第23章
案例实战3：加密货币趋势跟踪
基于A2C的趋势跟随策略 · 加密货币
实战趋势
第24章
案例实战4：期权波动率交易
基于SAC的波动率套利策略 · 期权
实战期权
第25章
模型部署与API服务
Flask/FastAPI · 模型版本管理 · A/B测试框架
部署API
第26章
持续学习与模型更新
增量学习 · 经验回放池更新 · 市场状态漂移检测
持续学习漂移
第27章
常见陷阱与避坑指南
未来函数 · 幸存者偏差 · 过拟合 · 交易成本低估
避坑经验
第28章
前沿方向
模仿学习 · 逆强化学习 · 基于世界模型的强化学习
前沿研究
第29章
开源框架对比
Stable-Baselines3 · RLlib · ElegantRL · FinRL
框架对比
第30章
课程总结与未来展望
从回测到实盘的最后一公里 · 量化研究者的成长路径
总结展望