一、课程导论：强化学习在量化交易中的价值、课程目标与学习路径、所需技术栈概览

1.1 为什么是强化学习？——量化交易的“新引擎”

各位同学，大家好。我是你们这门课的主讲。

先聊点实在的。做量化交易这么多年，我见过太多人把精力花在“预测价格”上。用LSTM预测明天涨跌，用XGBoost找因子，甚至用Transformer做时序预测。这些方法有没有用？有用。但说实话，它们都有一个共同的“天花板”——它们只解决“预测”问题，不解决“决策”问题。

你想想看，交易的本质是什么？不是预测明天涨多少，而是现在该不该买、该不该卖、该买多少、该持有多久。这是一个序列决策问题。而强化学习，恰恰就是专门解决序列决策问题的框架。

我在2020年做过一个实盘项目，用DQN做股指期货的日内交易。刚开始回测效果一般，后来我把动作空间从“买/卖/持有”扩展成“买10手/买5手/持有/卖5手/卖10手”，并加入了滑点惩罚。结果呢？回测夏普从0.8直接跳到1.6。嗯，这里要注意——动作空间的设计，直接决定了策略的上限。这个我们后面会专门讲。

1.2 这门课能帮你解决什么问题？

说白了，这门课的目标就三个：

• 第一，让你能亲手搭出一个可用的强化学习回测框架。不是调个现成的库就完事，而是从环境设计、状态构建、奖励函数到训练流程，每一步你都能自己写出来。
• 第二，让你理解强化学习在交易中的“坑”在哪里。比如过拟合、非平稳市场、交易成本的影响——这些书本上很少讲，但实战中天天遇到。
• 第三，给你一套可复用的代码模板。课程结束后，你拿这套框架去跑自己的策略，改改参数就能用。

1.3 学习路径——怎么学最有效？

我个人习惯把学习路径分成四个阶段，你可以对照着看看自己现在在哪：

阶段	核心内容	预期产出
第一阶段	强化学习基础 + Gym环境搭建	能写一个简单的“买卖持有”环境
第二阶段	经典算法实现（DQN、PPO）	在单只股票上跑通回测
第三阶段	交易专用优化（奖励塑形、状态构建、成本处理）	策略在多个品种上表现稳定
第四阶段	实盘模拟与部署	能对接实盘接口，做小资金验证

你可能会问：“我RL基础比较弱，能跟上吗？” 嗯，这个问题我经常被问到。我的回答是：你不需要成为RL专家，但你需要理解核心概念——状态、动作、奖励、策略、价值函数。这些我会在课程中用交易案例讲透。

1.4 技术栈概览——我们需要哪些工具？

直接上清单，都是我个人用过且推荐的：

• Python 3.8+ —— 不用多说，量化标配
• Gymnasium —— 强化学习环境标准接口，我们用它来封装交易环境
• Stable-Baselines3 —— 开箱即用的RL算法库，省去手写算法的麻烦
• Pandas + NumPy —— 数据处理基础
• Matplotlib / Plotly —— 可视化回测结果
• Backtrader 或 Zipline —— 传统回测框架，用来做对比基准

1.5 本章知识体系总览

下面这张图，是我自己画的课程知识体系。你可以把它当作“地图”，后面每学一章，回来看看自己走到了哪里。

1.6 写在开始之前

最后说几句心里话。

强化学习做量化交易，这几年确实很火。但说实话，它不是什么“圣杯”。我见过太多人把RL当成黑盒，扔进去数据就等着赚钱——结果往往是亏得比谁都惨。

RL的价值，在于它强迫你思考“交易决策”本身。你得定义什么是好的交易，你得设计状态空间让模型理解市场，你得处理交易成本让策略更稳健。这些思考过程，比模型本身更有价值。

好了，话不多说。从下一章开始，我们就动手搭建第一个交易环境。记住：先跑起来，再优化。

---

公众号:蓝海资料掘金营，微信deep3321