01
RL交易系统概述
强化学习在量化交易中的定位 · 实时决策引擎的核心挑战 · 课程整体架构预览
定位挑战预览
02
环境搭建与数据管道
交易所API对接 · 实时行情数据流处理 · 历史数据回放机制
API数据流回放
03
状态空间设计
市场微观结构特征 · 技术指标工程 · 订单簿特征提取 · 多时间尺度特征融合
微观结构订单簿多尺度
04
动作空间定义
离散动作(买卖持有) vs 连续动作(仓位比例) · 动作约束与风控逻辑
离散/连续仓位风控
05
奖励函数工程
夏普比率 · 最大回撤惩罚 · 交易成本建模 · 稀疏奖励与稠密奖励的平衡
夏普回撤成本
06
策略网络架构
Dueling DQN · PPO · SAC在交易场景的适配 · 多头注意力机制处理序列特征
Dueling DQNPPOSAC
07
训练框架搭建
Ray RLlib集成 · 分布式训练配置 · 模型版本管理与热加载
Ray分布式热加载
08
实时推理引擎
低延迟推理服务设计 · ONNX Runtime部署 · GPU/CPU异构计算
低延迟ONNX异构
09
回测系统实现
事件驱动回测引擎 · 滑点与手续费模拟 · 过拟合检测与鲁棒性验证
事件驱动滑点过拟合
10
风险管理模块
VaR计算 · 杠杆控制 · 止损止盈逻辑 · 黑天鹅事件应对策略
VaR杠杆黑天鹅
11
订单执行算法
TWAP/VWAP拆单 · 冰山订单 · 市场冲击成本优化
TWAP冰山冲击成本
12
多资产协同
跨品种相关性矩阵 · 组合优化 · 资金分配策略
相关性组合分配
13
高频交易场景
Tick级数据处理 · 纳秒级决策优化 · FPGA加速方案探讨
Tick纳秒FPGA
14
低频趋势策略
日频信号生成 · 持仓周期管理 · 宏观因子融合
日频持仓宏观
15
强化学习与监督学习结合
预训练特征提取器 · 模仿学习初始化策略网络
预训练模仿学习
16
对抗性训练
对抗样本生成 · 鲁棒策略学习 · 市场操纵防御
对抗鲁棒防御
17
元学习与自适应
快速适应市场风格切换 · 在线学习与模型更新策略
元学习在线自适应
18
可解释性分析
Shapley值归因 · 注意力权重可视化 · 决策路径追踪
Shapley注意力路径
19
压力测试与极端行情
历史危机场景回放 · 蒙特卡洛模拟 · 流动性枯竭应对
压力蒙特卡洛流动性
20
实盘部署架构
Docker容器化 · Kubernetes编排 · 灰度发布与回滚机制
DockerK8s灰度
21
监控与告警系统
性能指标监控 · 策略漂移检测 · 异常交易行为预警
监控漂移预警
22
日志与审计
全链路日志追踪 · 交易记录不可篡改存储 · 合规性检查
日志审计合规
23
回测与实盘差异分析
仿真环境校准 · 过拟合量化指标 · 样本外测试方法论
校准过拟合样本外
24
参数优化与超参搜索
贝叶斯优化 · 遗传算法 · 种群训练策略
贝叶斯遗传种群
25
多策略融合
集成学习框架 · 策略权重动态调整 · 相关性去冗余
集成动态权重去冗余
26
资金曲线管理
净值曲线平滑 · 回撤控制 · 复利增长模型
平滑回撤复利
27
交易所规则适配
不同交易所API差异 · 交易品种特性 · 监管合规要求
API差异品种合规
28
性能优化
C++核心算子加速 · 内存池管理 · 零拷贝数据传输
C++内存池零拷贝
29
实战案例
加密货币做市策略 · A股日内回转策略 · 美股统计套利策略
做市日内统计套利
30
未来展望
大模型与RL结合 · 多智能体协作交易 · 去中心化交易系统趋势
大模型多智能体DeFi