01
课程导论
什么是强化学习投资组合？为什么需要它？课程目标与学习路径。
入门概览
02
金融基础回顾
股票、债券、ETF等资产类别；收益率与风险度量（夏普比率、最大回撤）。
金融风险
03
投资组合理论
马科维茨均值-方差模型；有效前沿与资本配置线。
马科维茨前沿
04
传统优化方法
线性规划与二次规划在投资组合中的应用；Python实现（SciPy）。
优化SciPy
05
强化学习入门
智能体、环境、状态、动作、奖励；马尔可夫决策过程（MDP）。
MDP基础
06
Q-Learning 基础
Q表、贝尔曼方程、探索与利用（ε-贪婪策略）。
Q表ε-贪婪
07
深度 Q 网络（DQN）
神经网络拟合Q函数；经验回放与目标网络。
DQN经验回放
08
策略梯度方法
REINFORCE算法；策略网络与基线。
REINFORCE策略网络
09
Actor-Critic 架构
A2C/A3C算法；优势函数。
A2C优势
10
近端策略优化（PPO）
PPO-Clip与PPO-Penalty；稳定训练技巧。
PPO稳定
11
环境搭建
Gymnasium 框架；自定义金融交易环境。
Gym环境
12
数据获取与预处理
使用 yfinance 获取历史数据；收益率计算与归一化。
yfinance预处理
13
状态空间设计
技术指标（移动平均、RSI、MACD）；市场状态编码。
技术指标状态
14
动作空间设计
离散动作（调仓比例）vs 连续动作（权重分配）。
离散连续
15
奖励函数设计
累计收益率、夏普比率、回撤惩罚；多目标奖励。
奖励多目标
16
第一个智能体
基于 DQN 的单资产交易智能体；代码实现与回测。
DQN实战
17
多资产投资组合智能体
状态与动作扩展；权重归一化技巧。
多资产归一化
18
回测框架搭建
滚动窗口训练-测试；避免未来信息泄露。
回测滚动
19
评估指标
年化收益率、波动率、夏普比率、最大回撤、Calmar比率。
评估夏普
20
基准对比
等权重组合、均值-方差组合、道氏策略。
基准对比
21
过拟合与鲁棒性
正则化、早停、多环境测试。
过拟合鲁棒
22
交易成本与滑点
在环境中引入成本模型；对策略的影响。
成本滑点
23
市场冲击模型
大额订单对价格的影响；动态调整仓位。
冲击大额
24
多因子模型融合
将 Fama-French 因子作为状态输入。
因子Fama
25
风险管理
VaR与CVaR；在奖励函数中嵌入风险约束。
VaRCVaR
26
集成学习与模型融合
多个智能体投票决策；Bagging与Boosting思路。
集成投票
27
前沿方向：多智能体RL
多智能体强化学习（MARL）在投资中的应用。
MARL前沿
28
前沿方向：逆强化学习
逆强化学习（IRL）从专家交易中学习奖励函数。
IRL专家
29
部署与实盘注意事项
API对接、延迟、资金管理、合规。
部署实盘
30
课程总结与未来展望
学习资源推荐；持续学习路径。
总结资源