01
强化学习交易系统概述
什么是强化学习交易系统 · 优势 · 整体流程与核心组件
概述入门
02
金融市场与交易基础
股票/期货/加密货币 · 订单类型 · 交易成本 · K线图与指标
市场基础
03
强化学习核心概念回顾
MDP · 状态/动作/奖励 · 策略 · Q函数 · 探索与利用
RL基础理论
04
交易环境搭建 (Gymnasium)
安装Gymnasium · 自定义Env · 状态/动作空间 · reset/step
环境代码
05
数据获取与预处理
yfinance/ccxt · 清洗 · 特征工程 · 标准化与归一化
数据预处理
06
状态空间设计
历史价格 · 技术指标 · 持仓信息 · 多维度融合
状态设计
07
动作空间设计
离散/连续动作 · 仓位比例 · 多资产组合 · 风险约束
动作仓位
08
奖励函数设计
PnL · 夏普比率 · 回撤惩罚 · 多目标奖励
奖励优化
09
策略网络架构设计
MLP · LSTM/GRU · Transformer · 输入输出适配
网络架构
10
策略梯度算法 (REINFORCE)
蒙特卡洛策略梯度 · 基线 · PyTorch实现
算法REINFORCE
11
Actor-Critic算法
A2C/A3C · 优势函数 · Critic网络 · 训练技巧
Actor-Critic进阶
12
PPO算法 (近端策略优化)
PPO-Clip/Penalty · 重要性采样 · 裁剪 · 超参数调优
PPO稳定
13
DQN及其变体
DQN · Double DQN · Dueling DQN · Rainbow
DQN价值
14
SAC算法 (软Actor-Critic)
最大熵 · 自动温度调节 · 连续动作交易
SAC连续控制
15
训练流程与超参数调优
训练/验证/测试 · 学习率调度 · 网格/贝叶斯优化
调优流程
16
回测系统设计
回测引擎 · 事件驱动 · 滑点/成本 · 评估指标
回测评估
17
风险管理模块
凯利公式 · 止损止盈 · 波动率调整 · 最大回撤控制
风控仓位
18
多资产与投资组合管理
多资产状态/动作 · 均值-方差/风险平价 · RL组合管理
组合多资产
19
高频交易与订单簿数据
订单簿结构 · 特征提取 · 高频RL · 延迟优化
高频订单簿
20
特征工程进阶
自定义指标 · 微观结构 · 情感分析 · 另类数据
特征进阶
21
模型评估与比较
回测对比 · 统计检验 · Walk-Forward · 过拟合检测
评估统计
22
实盘部署架构
系统架构 · API对接 · 低延迟 · 容错监控
部署实盘
23
在线学习与模型更新
增量学习 · 重训练触发 · 概念漂移 · 自适应系统
在线自适应
24
深度强化学习进阶
分布式训练 · 模型量化 · 知识蒸馏
分布式优化
25
案例：股票日内交易系统
从数据到实盘 · 策略分析 · 常见问题
案例股票
26
案例：加密货币做市商策略
做市原理 · 库存风险 · 报价优化
案例加密货币
27
案例：期货跨期套利
套利原理 · 价差预测 · 开平仓时机
案例套利
28
伦理与合规
监管要求 · 市场操纵 · 公平透明 · 合规清单
合规伦理
29
前沿趋势与研究方向
多智能体 · 元学习 · 大语言模型+交易
前沿研究
30
课程总结与下一步行动
核心回顾 · 学习资源 · 成长路径建议
总结资源