01
课程导论：强化学习与多资产组合交易概述
课程目标与学习路径 · 必备数学与编程基础回顾
概述路径
02
金融市场基础
多资产类别特性 · 市场微观结构与订单簿 · 交易成本与滑点建模
股票债券外汇
03
投资组合理论
马科维茨均值-方差模型 · 有效前沿与夏普比率 · 风险平价与Black-Litterman
马科维茨风险平价
04
强化学习基础
马尔可夫决策过程(MDP) · 状态、动作、奖励与策略 · 价值函数与贝尔曼方程
MDP贝尔曼
05
动态规划与表格方法
策略迭代与值迭代 · Q-Learning原理与实现 · SARSA同策略学习
Q-LearningSARSA
06
深度强化学习入门
深度学习基础(MLP/CNN/RNN) · DQN与经验回放 · 目标网络与Double DQN
DQN经验回放
07
策略梯度方法
REINFORCE算法 · Actor-Critic架构 · 优势函数与GAE
REINFORCEActor-Critic
08
进阶深度强化学习算法
PPO · SAC · DDPG
PPOSACDDPG
09
多智能体强化学习基础
多智能体MDP与博弈论 · CTDE · MADDPG算法简介
MADDPGCTDE
10
多资产交易环境建模
状态空间设计 · 动作空间(仓位权重) · 奖励函数(夏普/最大回撤)
状态空间奖励设计
11
数据获取与预处理
YFinance/Quandl · 数据清洗对齐 · 缺失值与异常值检测
YFinance数据清洗
12
特征工程与因子构建
技术指标(均线/RSI/MACD) · 统计因子(PCA/ICA) · 另类数据因子
技术指标PCA
13
回测框架搭建
事件驱动回测引擎 · 滑点与交易成本 · 绩效评估指标
回测夏普比率
14
单资产单智能体策略
DQN股票择时 · PPO期货趋势跟踪 · 鲁棒性分析
择时趋势跟踪
15
多资产组合策略(一)
基于MADDPG的多资产管理 · 智能体分工与通信协作
MADDPG协作
16
多资产组合策略(二)
SAC端到端权重优化 · 连续动作空间 · 做空/杠杆约束
SAC权重优化
17
风险敏感强化学习
CPO约束策略优化 · VaR/CVaR约束 · 分布强化学习
CPOCVaR
18
迁移学习与领域自适应
跨市场策略迁移 · 时间尺度迁移 · 对抗性领域适应
迁移学习领域自适应
19
元学习与自适应策略
MAML在交易中的应用 · 在线自适应 · 动态市场鲁棒性
MAML元学习
20
模仿学习与专家轨迹
利用专家策略预训练 · 行为克隆与GAIL · 混合专家策略
行为克隆GAIL
21
模型可解释性
SHAP与LIME · 注意力机制可视化 · 策略决策路径分析
SHAPLIME
22
对抗攻击与防御
对抗样本(FGSM/PGD) · 对抗训练 · 市场操纵模拟
FGSM防御
23
分布式训练与部署
Ray框架 · GPU加速混合精度 · ONNX部署
RayONNX
24
实盘交易系统架构
低延迟设计 · API对接(IBKR/Binance) · 风控熔断
低延迟IBKR
25
案例研究一：加密货币多资产组合
高频数据Taker/Maker · DeFi流动性挖矿策略
加密货币DeFi
26
案例研究二：宏观对冲基金策略
跨资产配置(股债商汇) · 事件驱动与宏观因子
宏观对冲因子模型
27
案例研究三：统计套利与做市策略
配对交易与协整 · RL做市商库存管理
统计套利做市
28
伦理与监管
算法交易伦理 · 市场操纵与公平性 · SEC/CFTC/ESMA
监管合规
29
前沿研究方向
世界模型与基于模型RL · 离线强化学习(CQL/IQL) · LLM辅助交易
世界模型离线RL
30
课程总结与未来展望
核心知识回顾 · 职业发展路径 · 持续学习资源推荐
总结职业