资产配置模型强化学习训练

📚 共计 30 章节

课程导论与金融背景

资产配置核心概念 · MPT回顾 · 为什么需要强化学习？课程目标与学习路径

导论金融基础

金融数据与预处理

获取股票/ETF历史数据 · 缺失值与异常值 · 收益率与波动率 · 标准化与平稳性

数据处理Python

强化学习基础（一）

马尔可夫决策过程(MDP) · 状态/动作/奖励 · 策略与价值函数

强化学习基础（二）

Q-Learning与SARSA · ε-greedy探索 · 离散动作空间应用

Q-LearningSARSA

深度强化学习入门

从Q-Learning到DQN · 经验回放与目标网络 · PyTorch实现

策略梯度方法

REINFORCE算法 · Actor-Critic框架 · 优势函数概念

Policy GradientActor-Critic

PPO算法详解

PPO核心思想 · Clipped Surrogate Objective · 金融优势

资产配置环境搭建（一）

状态空间(市场/持仓/技术指标) · 动作空间(调仓比例)

资产配置环境搭建（二）

奖励函数(夏普/回撤/收益) · 交易成本与滑点 · 交互逻辑

奖励设计成本

基于DQN的资产配置模型

DQN离散调仓 · 训练流程 · 回测结果分析

基于PPO的资产配置模型

PPO连续调仓 · 训练流程 · 与DQN对比

多资产配置策略

股票+债券+商品 · 相关性矩阵 · 动态资产池

多资产相关性

风险管理与约束

CVaR/最大回撤惩罚 · 仓位与杠杆约束 · 流动性约束

风险管理约束

交易成本敏感性分析

不同成本水平表现 · 减少频繁交易 · 成本建模细节

成本敏感性

特征工程与状态增强

MACD/RSI/布林带 · 宏观经济因子 · 自编码器降维

特征工程技术指标

模型评估与回测框架

过拟合问题 · 滚动窗口训练测试 · Brinson绩效归因

超参数调优

学习率/折扣因子/网络结构 · batch size · Optuna自动调参

超参数Optuna

多智能体强化学习

多个智能体管理不同资产 · 合作与竞争 · 应用前景

多智能体MARL

模仿学习与预训练

专家策略(等权重/风险平价) · Behavior Cloning · 加速收敛

模仿学习预训练

逆强化学习

从市场数据学习奖励 · 市场隐含风险偏好 · 资产配置应用

逆强化学习IRL

元强化学习

学习如何学习 · 快速适应市场 · 风格切换应用

分布式强化学习

Ray/RLlib分布式训练 · Ape-X架构 · 大规模加速

实战项目一

基于DQN的股票+债券双资产配置系统

实战项目二

基于PPO的多资产(股票+债券+商品+REITs)动态配置

实战项目三

带风险管理约束的资产配置模型

实战项目四

基于LSTM状态编码的深度强化学习配置模型

模型部署与实盘交易

回测到实盘 · API对接 · TWAP/VWAP执行算法

前沿研究论文解读

Deep Portfolio Management · FinRL · ICML/NeurIPS相关

课程总结与未来展望

RL局限性 · 可解释性AI(XAI) · 联邦学习与隐私保护

综合大作业

设计完整资产配置模型 · 研究报告 · 小组答辩

大作业答辩