01
量化交易与强化学习概述
什么是量化交易，传统量化策略的局限，强化学习如何破局，课程目标与学习路径。
入门认知
02
金融数据基础
股票、期货、加密货币数据获取，数据清洗与预处理，OHLCV数据结构，时间序列基础。
数据预处理
03
强化学习核心概念
智能体、环境、状态、动作、奖励，马尔可夫决策过程（MDP），策略与价值函数。
理论MDP
04
Q-Learning算法
Q表原理，Q-Learning更新公式，ε-贪婪策略，手写Q-Learning玩转简单交易环境。
经典表格
05
深度Q网络（DQN）
从Q表到神经网络，DQN架构，经验回放机制，目标网络，训练稳定性技巧。
深度学习DQN
06
策略梯度方法
REINFORCE算法，策略网络，蒙特卡洛采样，与价值方法的对比，优缺点分析。
策略蒙特卡洛
07
Actor-Critic架构
A2C算法，优势函数，同步与异步训练，实战中的调参经验。
A2C优势
08
PPO算法
PPO-Clip与PPO-Penalty，重要性采样，信任区域约束，为什么PPO是交易领域首选。
PPO稳定
09
交易环境构建（Gym风格）
自定义OpenAI Gym环境，交易动作空间设计（离散vs连续），状态空间设计（技术指标+市场数据）。
环境Gym
10
奖励函数设计艺术
常见奖励函数（夏普比率、累计收益、最大回撤），稀疏奖励问题，奖励塑形技巧，我踩过的坑。
奖励塑形
11
特征工程与状态表示
技术指标（MA、MACD、RSI、布林带），市场微观结构特征，特征标准化与归一化，时序特征处理。
特征指标
12
回测系统搭建
向量化回测vs事件驱动回测，滑点与手续费模拟，过拟合检测，回测陷阱与避免方法。
回测系统
13
风险管理模块
最大回撤控制，仓位管理（凯利公式、固定比例），止损止盈逻辑，波动率调整。
风控仓位
14
多资产交易策略
组合投资理论，相关性分析，多资产动作空间设计，协同训练技巧。
多资产组合
15
高频交易与限价单
限价单vs市价单，订单簿模拟，高频交易环境挑战，微观结构特征提取。
高频订单簿
16
深度强化学习进阶
Rainbow DQN（优先经验回放、双DQN、对抗网络），NoisyNet，分布式RL。
Rainbow分布式
17
模仿学习与行为克隆
利用专家数据预训练，DAgger算法，逆强化学习，冷启动问题解决。
模仿克隆
18
元学习与自适应策略
MAML算法，在线适应，市场状态切换检测，动态策略调整。
元学习自适应
19
对抗训练与鲁棒性
对抗样本生成，鲁棒策略训练，市场操纵模拟，压力测试。
鲁棒对抗
20
模型部署与实盘交易
模型导出与序列化，低延迟推理，交易接口对接（CTP、FIX），监控与告警。
部署实盘
21
回测与实盘差异分析
模拟环境与真实市场差异，过拟合诊断，样本外测试，Walk-Forward分析。
差异诊断
22
强化学习交易系统架构
数据流水线设计，训练-回测-部署闭环，分布式训练框架，MLOps实践。
架构MLOps
23
案例实战1：单股票日内趋势跟踪（DQN）
从数据到回测全流程，DQN实战日内趋势跟踪策略。
实战股票
24
案例实战2：加密货币网格交易（PPO）
多时间框架融合，PPO实现网格交易策略。
实战加密货币
25
案例实战3：期货跨期套利（A2C）
价差序列建模，A2C跨期套利策略。
实战套利
26
案例实战4：期权波动率交易（SAC）
连续动作空间，SAC波动率交易策略。
实战期权
27
案例实战5：投资组合再平衡（MADDPG）
多智能体协作，MADDPG组合再平衡策略。
实战多智能体
28
前沿研究：世界模型与离线RL
世界模型在交易中的应用，Transformer+RL，离线强化学习（CQL、IQL）。
前沿离线RL
29
伦理与监管
算法交易合规性，市场公平性，风险披露，职业操守。
合规伦理
30
课程总结与进阶路径
知识体系回顾，推荐论文与书籍，开源项目，社区资源，持续学习建议。
总结资源