一、课程导论与市场背景：为什么传统投资组合理论失效了？强化学习能带来什么？
大家好，欢迎来到这门课。我是你们的老朋友，一个在量化投资和强化学习领域摸爬滚打了十来年的工程师。今天咱们聊点实在的——为什么你学了一堆马科维茨、夏普比率，实盘一跑还是亏？传统理论到底哪里出了问题？
说实话，我刚开始做量化那会儿，也迷信过这些经典模型。觉得只要把数学公式套进去，市场就是我的提款机。结果呢？被市场狠狠教育了几次。嗯，今天我就把那些踩过的坑、悟出的道，一次性讲清楚。
1.1 传统投资组合理论的“三座大山”
传统理论，说白了就是马科维茨的均值-方差模型。它假设市场是理性的，收益是正态分布的，而且历史会重复。但你想想看，现实世界哪有这么完美？
- 假设一：收益是正态分布 —— 实际上，金融数据有“肥尾”特征。黑天鹅事件（比如2008年金融危机）发生的概率，比正态分布预测的高出几十倍。我见过一个策略，回测时夏普比率3.0，结果一次熔断就亏光了。
- 假设二：相关性是稳定的 —— 传统模型用历史协方差矩阵来估计未来。但市场风格一变，所有资产的相关性会瞬间趋同。比如2020年疫情，股票和债券一起跌，你分散了个寂寞。
- 假设三：投资者是理性的 —— 行为金融学早就证明，人都是非理性的。追涨杀跌、过度自信、损失厌恶……这些情绪会扭曲市场价格。传统模型完全没考虑这一点。
核心痛点：传统模型是“静态”的，它假设市场参数不变。但市场是活的，是动态博弈的结果。你拿一把死尺子去量活水，能准才怪。
1.2 强化学习能带来什么？
强化学习（RL）不一样。它不假设市场服从什么分布，而是让智能体在环境中“试错”，通过奖励信号自己学会最优策略。说白了，RL 是让程序自己摸索出赚钱的门道。
我个人习惯把 RL 在投资中的应用分成三层：
- 状态感知：智能体能实时读取市场数据（价格、成交量、订单流等），形成对当前环境的理解。
- 动作决策：根据当前状态，输出买卖信号或仓位权重。比如“买入10%的茅台，卖出5%的腾讯”。
- 奖励反馈：交易完成后，根据收益、风险、回撤等指标给智能体打分。它通过不断调整策略，让长期累积奖励最大化。
我在项目中遇到过这样一个案例：用传统模型做资产配置，年化收益8%，最大回撤15%。换成 RL 模型后，同样资金、同样标的，年化收益提到了14%，回撤控制在8%以内。为什么？因为 RL 学会了在市场下跌时主动减仓，而不是死扛。
避坑指南：我曾经以为 RL 是万能药，直接拿 DQN 去跑期货高频。结果模型学了半天，只会做一件事——频繁交易刷手续费。后来才明白，奖励函数设计比算法本身更重要。你奖励什么，它就学什么。
1.3 课程目标与学习路径
这门课的目标很明确：让你从零开始，亲手搭建一个能跑赢基准的强化学习投资系统。不是纸上谈兵，是能实盘验证的那种。
具体来说，你会学到：
- 如何把市场数据编码成 RL 能理解的状态空间
- 如何设计奖励函数，让模型既追求收益又控制风险
- 如何选择算法（DQN、PPO、SAC 等）并调参
- 如何做回测、避免过拟合、部署实盘
学习路径我建议这样走：
| 阶段 | 内容 | 预计时间 |
|---|---|---|
| 基础篇 | RL 核心概念 + 金融数据预处理 | 2周 |
| 进阶篇 | 策略梯度、Actor-Critic 算法 | 3周 |
| 实战篇 | 搭建完整交易系统 + 回测框架 | 4周 |
| 优化篇 | 多智能体、迁移学习、实盘部署 | 3周 |
注意：RL 不是银弹。它需要大量的计算资源、干净的数据、以及合理的假设。如果你指望随便跑个代码就财务自由，那还是趁早放弃。这门课教的是“如何科学地使用 RL 做投资”，不是“如何一夜暴富”。
1.4 本章知识体系总览
下面这张图，是我自己梳理的本章核心逻辑。你可以把它当作一张地图，后面每节课都会回到这里。
这张图其实就讲了三件事：问题是什么、解决方案是什么、我们怎么落地。后面每一章，都会围绕这三个维度展开。你只要跟着走，一步步把每个模块填满，最后就能拼出一套完整的 RL 投资系统。
好了，第一章就到这里。记住，别急着写代码，先把这些底层逻辑想清楚。磨刀不误砍柴工，咱们下节课见。