01
量化交易与强化学习概述
量化交易的基本概念、传统策略的局限性、强化学习在金融领域的应用前景、课程整体路线图。
入门概览
02
金融数据基础
股票/期货数据结构（OHLCV）、数据源获取（Tushare/Baostock）、数据清洗与对齐、时间序列基础。
数据预处理
03
技术指标计算
移动平均线（MA/EMA）、布林带、RSI、MACD的计算与可视化、指标作为特征。
特征工程可视化
04
Python强化学习环境搭建
Gymnasium库安装、自定义环境接口、动作空间与观测空间定义。
环境Gym
05
马尔可夫决策过程（MDP）
状态、动作、奖励、转移概率、折扣因子、策略与价值函数。
理论MDP
06
动态规划与策略迭代
策略评估、策略改进、策略迭代算法、值迭代算法、在量化中的类比。
规划经典
07
蒙特卡洛方法
蒙特卡洛预测、蒙特卡洛控制、探索与利用的平衡、在回测中的应用。
采样回测
08
时序差分学习
TD(0)、SARSA算法、Q-Learning算法、离线策略与在线策略。
TDQ-Learning
09
深度Q网络（DQN）
神经网络基础、DQN算法原理、经验回放、目标网络、在交易中的实现。
DQN深度学习
10
策略梯度方法
REINFORCE算法、策略梯度定理、Baseline技巧、连续动作空间。
策略梯度REINFORCE
11
Actor-Critic架构
A2C/A3C算法、优势函数、并行训练、在量化策略中的优势。
Actor-Critic并行
12
PPO算法
PPO-Clip与PPO-Penalty、重要性采样、信任区域、稳定训练技巧。
PPO稳定
13
构建交易环境（上）
状态空间设计（技术指标+持仓+市场状态）、动作空间设计（离散/连续）。
环境设计
14
构建交易环境（下）
奖励函数设计（夏普比率、最大回撤、收益率）、交易成本与滑点模拟。
奖励成本
15
特征工程与状态表示
原始数据标准化、时序特征构造、市场微观结构特征、降维方法。
特征降维
16
基于DQN的日内交易策略
环境搭建、网络结构设计、训练流程、回测与评估。
日内DQN
17
基于PPO的趋势跟踪策略
趋势识别、PPO参数调优、持仓管理、风险控制。
趋势PPO
18
多资产组合管理
组合状态表示、动作空间扩展、相关性矩阵作为特征、组合优化。
组合多资产
19
风险管理模块
VaR与CVaR计算、止损逻辑、仓位控制、波动率调节。
风控VaR
20
回测框架搭建
事件驱动回测引擎、性能指标计算（夏普、卡玛、最大回撤）、过拟合检测。
回测引擎
21
超参数优化
网格搜索、贝叶斯优化、Optuna库使用、参数稳定性分析。
调参Optuna
22
模型评估与选择
训练集/验证集/测试集划分、滚动窗口验证、鲁棒性测试。
评估验证
23
实盘交易接口
CTP接口对接、交易指令封装、账户管理、风险监控。
实盘CTP
24
策略部署与运维
Docker容器化、定时任务、日志监控、异常报警。
部署运维
25
高级主题
模仿学习、逆强化学习、多智能体强化学习在量化中的应用。
前沿多智能体
26
案例分析
经典论文复现（如《A Deep Reinforcement Learning Framework for the Financial Portfolio Management Problem》）。
论文复现
27
常见陷阱与避坑
过拟合、幸存者偏差、前视偏差、交易成本低估、流动性风险。
避坑经验
28
性能优化
GPU加速、多进程训练、数据管道优化、模型压缩。
加速GPU
29
合规与伦理
量化交易监管政策、市场操纵防范、算法伦理、信息披露。
合规伦理
30
课程总结与未来展望
学习路径建议、研究方向、社区资源、持续学习指南。
总结展望