01
强化学习交易算法概述
什么是强化学习 · 金融交易应用 · 课程目标与学习路径
入门概览
02
金融数据基础
股票数据获取(yfinance) · 数据清洗与预处理 · 技术指标(SMA/RSI/MACD)
数据yfinance
03
强化学习核心概念
智能体 · 环境 · 状态 · 动作 · 奖励 · 策略 · 价值函数
概念基础
04
马尔可夫决策过程
MDP定义 · 状态转移概率 · 奖励函数 · 折扣因子 · 策略与价值函数
MDP数学
05
动态规划与值迭代
策略评估 · 策略改进 · 值迭代 · 策略迭代 · 交易简单应用
动态规划值迭代
06
蒙特卡洛方法
蒙特卡洛预测 · 蒙特卡洛控制 · 探索与利用 · 交易回测应用
蒙特卡洛回测
07
时序差分学习
TD(0) · SARSA · Q-learning · 三种算法对比与选择
TDQ-learning
08
深度Q网络 (DQN)
DQN原理 · 经验回放 · 目标网络 · DQN在交易中的实现
DQN深度学习
09
策略梯度方法
REINFORCE · Actor-Critic · PPO算法简介
策略梯度PPO
10
交易环境搭建
Gym环境自定义 · 交易状态设计 · 动作空间 · 奖励函数设计
环境Gym
11
状态空间设计
价格特征 · 技术指标 · 市场情绪指标 · 组合状态表示
特征状态
12
动作空间设计
离散动作(买入/卖出/持有) · 连续动作(仓位比例) · 混合动作空间
动作离散/连续
13
奖励函数设计
简单收益 · 夏普比率 · 最大回撤惩罚 · 多目标奖励设计
奖励夏普
14
数据预处理与特征工程
归一化 · 标准化 · 平稳性检验 · 特征选择 · 滚动窗口
预处理特征工程
15
训练与验证策略
训练/验证/测试集划分 · 滚动时间窗口验证 · 过拟合检测与防止
验证过拟合
16
DQN交易智能体实现
网络结构设计 · 超参数调优 · 训练监控 · 模型保存与加载
DQN实现
17
PPO交易智能体实现
PPO算法详解 · 实现细节 · 与DQN的对比实验
PPO对比
18
多智能体交易系统
多智能体强化学习简介 · 协作与竞争 · 组合管理应用
多智能体组合
19
风险管理与约束
仓位限制 · 止损机制 · 最大回撤控制 · 风险价值约束
风控止损
20
回测框架搭建
事件驱动回测 · 滑点与手续费模拟 · 绩效评估指标
回测框架
21
实盘交易接口
券商API对接 · 订单管理 · 账户管理 · 风险监控
实盘API
22
模型部署与监控
模型服务化 · 实时推理 · 性能监控 · 模型更新策略
部署监控
23
案例1：单股票日内交易策略
数据准备 · 环境搭建 · 模型训练 · 回测结果分析
案例日内
24
案例2：多股票组合交易策略
组合优化 · 相关性分析 · 多资产协同交易
组合多股票
25
案例3：加密货币高频交易策略
数据特点 · 交易频率 · 特殊风险处理
加密货币高频
26
案例4：期权波动率交易策略
期权定价 · 波动率预测 · Delta对冲
期权波动率
27
前沿研究
多任务强化学习 · 元强化学习 · 逆强化学习在交易中的应用
前沿研究
28
常见问题与调试
训练不收敛 · 过拟合 · 环境设计错误 · 超参数调优技巧
调试FAQ
29
伦理与合规
算法交易监管 · 市场操纵风险 · 公平性 · 透明度要求
伦理合规
30
课程总结与未来展望
核心知识回顾 · 学习资源推荐 · 研究方向展望 · 社区参与建议
总结展望