01
课程导论与市场背景
为什么传统投资组合理论失效了？强化学习能带来什么？课程目标与学习路径。
导论市场背景
02
金融数据基础
获取股票/加密货币历史数据 (Yahoo Finance API)，数据清洗与预处理，收益率计算与可视化。
数据API预处理
03
投资组合理论回顾
马科维茨均值-方差模型，有效前沿，夏普比率，最大回撤，这些指标在RL中怎么用？
马科维茨夏普回撤
04
强化学习核心概念
智能体、环境、状态、动作、奖励。用交易场景打个比方，让你秒懂。
RL基础智能体
05
马尔可夫决策过程 (MDP)
金融市场的MDP建模，状态转移概率，折扣因子γ怎么设？
MDPγ
06
动态规划与价值迭代
策略迭代 vs 价值迭代，用网格世界理解，再映射到投资组合问题。
动态规划价值迭代
07
蒙特卡洛方法
无模型学习的起点，蒙特卡洛策略评估，在历史回测中模拟交易。
蒙特卡洛回测
08
时序差分学习 (TD)
TD(0)与Q-learning，为什么TD比MC更适合高频交易？
TDQ-learning
09
Q-learning实战
离散动作空间下的投资组合选择 (加仓、减仓、持有)，代码实现一个简单的交易Agent。
实战离散动作
10
深度Q网络 (DQN)
当状态空间爆炸时怎么办？神经网络拟合Q函数，经验回放与目标网络。
DQN经验回放
11
策略梯度方法 (Policy Gradient)
直接优化策略，REINFORCE算法，为什么策略梯度适合连续动作？
策略梯度REINFORCE
12
Actor-Critic架构
结合价值与策略，A2C/A3C算法，在投资组合中平衡探索与利用。
Actor-CriticA2C
13
近端策略优化 (PPO)
PPO-Clip与PPO-Penalty，为什么PPO成为量化交易的主流选择？
PPO主流
14
状态空间设计
技术指标 (RSI, MACD, 布林带) 作为状态，市场微观结构特征，如何避免过拟合？
状态设计技术指标
15
动作空间设计
离散动作 (调仓比例) vs 连续动作 (权重分配)，交易成本与滑点惩罚。
动作空间交易成本
16
奖励函数工程
累计收益率、夏普比率、卡玛比率、最大回撤惩罚，多目标奖励设计。
奖励夏普卡玛
17
环境搭建 (Gym格式)
自定义OpenAI Gym环境，step()函数实现，重置与渲染。
Gym环境
18
回测框架实现
基于历史数据的回测引擎，考虑交易成本、流动性限制，避免前视偏差。
回测前视偏差
19
训练流程与超参数调优
学习率、batch size、网络层数、探索率衰减，网格搜索与贝叶斯优化。
超参数调优
20
风险管理集成
VaR与CVaR作为约束，动态止损机制，波动率目标策略。
VaRCVaR止损
21
多资产投资组合
股票+债券+商品+加密货币，相关性矩阵与协方差预测。
多资产相关性
22
高频交易与订单流
限价单与市价单模拟，订单簿特征提取，Tick级数据训练。
高频订单簿
23
对抗性训练与鲁棒性
市场冲击模型，对抗样本生成，让Agent适应极端行情。
对抗鲁棒性
24
迁移学习与领域适应
预训练模型在不同市场 (A股、美股、币圈) 的迁移，微调技巧。
迁移学习微调
25
多智能体强化学习
多个Agent竞争/合作，模拟市场微观结构，发现套利机会。
多智能体套利
26
可解释性 (XAI)
SHAP值分析Agent决策，注意力机制可视化，让黑箱变透明。
XAISHAP
27
实盘部署注意事项
API对接，延迟优化，资金管理，熔断机制，回测与实盘的差距。
部署实盘
28
案例研究1：基于PPO的加密货币投资组合
BTC/ETH/BNB，从回测到模拟盘。
案例加密货币PPO
29
案例研究2：A股市场多因子选股+RL权重分配
对比传统量化策略。
A股多因子对比
30
课程总结与未来方向
元学习、世界模型、大语言模型+RL，你的下一步学习路径。
总结元学习LLM