强化学习交易系统构建与回测实战

📚 共计 30 章节

课程导论与金融AI概览

强化学习在量化交易中的角色 · 课程目标与学习路径 · 环境搭建 (Anaconda, Python, 必备库)

导论环境配置

金融市场基础与数据获取

股票/期货/加密货币市场 · yfinance获取历史数据 · 数据清洗与预处理

技术指标计算与特征工程

SMA, EMA, RSI, MACD · ta-lib库 · 特征标准化与归一化

强化学习核心概念

智能体、环境、状态、动作、奖励 · 策略、价值函数 · 马尔可夫决策过程 (MDP)

OpenAI Gym与自定义环境

Gym接口详解 · 构建交易环境 (Env类) · 状态/动作空间定义

策略梯度方法 (Policy Gradient)

REINFORCE算法原理 · 从零实现 · 交易环境训练与测试

REINFORCE策略梯度

深度Q网络 (DQN)

DQN原理 (经验回放、目标网络) · PyTorch实现 · 离散动作交易

Double DQN & Dueling DQN

解决Q值高估 · 网络结构改进 · 性能对比

Double DQNDueling

近端策略优化 (PPO)

PPO-Clip / PPO-Penalty · 实现PPO · 稳定训练技巧

PPO稳定训练

演员-评论家方法 (Actor-Critic)

A2C / A3C · 优势函数计算 · 并行环境训练

软演员-评论家 (SAC)

最大熵强化学习 · SAC算法推导 · 连续动作交易

SAC连续动作

交易环境进阶设计

交易成本 (滑点、佣金) · 持仓限制 · 做空机制 · 多标的

奖励函数工程

稀疏/稠密奖励 · 夏普比率奖励 · 风险调整奖励函数

奖励夏普比率

状态表示与多模态输入

价格序列、技术指标、订单簿、新闻情感分析

多模态情感

回测框架搭建 (上)

事件驱动引擎 · 订单管理 · 持仓管理 · 资金管理

回测事件驱动

回测框架搭建 (下)

性能指标 (年化收益、最大回撤、夏普、卡玛) · 可视化

指标可视化

策略稳定性与过拟合

训练/验证/测试集 · 滚动窗口回测 · 蒙特卡洛模拟

过拟合滚动窗口

超参数调优

网格搜索 · 随机搜索 · 贝叶斯优化 (Optuna) · 学习率/折扣因子

多智能体强化学习

多智能体交易 · CTDE · MADDPG算法简介

多智能体MADDPG

基于Transformer的强化学习

Transformer架构 · 决策Transformer · 序列建模与交易

Transformer决策

模仿学习与逆强化学习

专家轨迹 · 行为克隆 · 逆强化学习在交易中的应用

模仿学习IRL

风险管理与约束优化

VaR / CVaR约束 · 安全强化学习 · 约束策略优化 (CPO)

高频交易与微观结构

限价订单簿 (LOB) · Tick级数据 · 高频交易环境设计

组合管理与资产配置

多资产组合优化 · 基于RL的资产配置 · 动态再平衡

组合资产配置

实盘交易接口对接

CCXT连接交易所 · 模拟盘/实盘切换 · 订单执行与监控

策略监控与自动化运维

日志系统 · 异常检测 · 自动重启 · Telegram/邮件告警

案例实战1：PPO加密货币趋势跟踪

从数据到回测全流程 · 趋势跟踪策略

PPO加密货币

案例实战2：SAC股票日内均值回归

连续动作 · 高频交易 · 均值回归策略

案例实战3：DQN多资产组合管理

离散动作 · 组合优化 · 多资产配置

课程总结与未来展望

样本效率、泛化能力 · 世界模型、离线RL、基础模型