3、强化学习核心概念：智能体、环境、状态、动作、奖励、策略、价值函数
好，咱们今天来啃硬骨头。
强化学习这玩意儿，说白了就是「试错学习」。你想想看，一个小孩学走路，他脑子里有公式吗？没有。他就是先迈腿，摔了，疼了，下次就不那么迈了。强化学习本质上也是这个逻辑。
但要把这个逻辑写成代码，跑在金融市场里，你就得先搞清楚它的七个核心零件。我当年刚接触时，也被这些术语绕得头晕。今天咱们一个一个拆开讲。
3.1 智能体（Agent）—— 做决策的那个家伙
智能体就是你的交易程序。它负责观察市场，然后决定「买、卖、还是不动」。
我个人习惯把智能体想象成一个交易员。这个交易员有脑子（神经网络），有记忆（经验回放池），还有脾气（探索率）。
在量化回测里，智能体就是那个不断下单、不断调整策略的核心模块。它没有感情，只有目标——最大化累计收益。
核心要点：智能体是决策者，不是执行者。执行是交易所的事，决策才是智能体的事。
3.2 环境（Environment）—— 市场本身
环境就是你的交易对手盘，是整个市场。
在回测框架里，环境就是历史K线数据、订单簿、手续费、滑点……所有你能想到的市场规则。智能体跟环境交互，就像你跟真实市场交互一样。
嗯，这里要注意：环境是「黑盒」。智能体看不到环境内部的逻辑，它只能通过观察状态来猜测。这跟真实交易一模一样——你永远不知道对手在想什么。
实战建议：我在搭建回测环境时，一定会把手续费和滑点加进去。很多新手忽略这点，结果回测收益漂亮，实盘一跑就亏。环境越真实，策略越靠谱。
3.3 状态（State）—— 智能体看到的画面
状态就是智能体「眼睛」看到的东西。
比如当前的价格、持仓量、MACD指标、RSI数值……这些都是状态。状态是环境的快照，是智能体做决策的依据。
你想想看，如果状态里只有收盘价，那智能体就只知道价格。如果你把成交量、波动率也加进去，它就能看到更多信息。状态设计得好不好，直接决定了策略的上限。
避坑指南：我曾经犯过一个错误——把未来数据也塞进了状态里。比如用当天的收盘价去预测当天的买卖点。结果回测曲线漂亮得像假的一样。嗯，那确实是假的。状态必须只包含当前时刻之前的信息。
3.4 动作（Action）—— 智能体能做的事
动作就是智能体可以执行的操作。
在量化交易里，动作空间通常有三种：
| 动作类型 | 含义 | 示例 |
|---|---|---|
| 离散动作 | 有限个选择 | 买入、卖出、持有 |
| 连续动作 | 无限个选择 | 买入0.1手、买入0.2手…… |
| 混合动作 | 离散+连续 | 选择股票+确定仓位 |
我个人建议初学者先从离散动作开始。比如只有三个动作：买、卖、不动。这样模型简单，容易调试。等跑通了再上连续动作。
3.5 奖励（Reward）—— 市场的反馈
奖励就是市场给智能体的「打分」。
赚了钱，奖励为正。亏了钱，奖励为负。就这么简单。
但这里有个坑：奖励函数怎么设计？
如果你只把「净利润」当奖励，那智能体可能会去赌——反正亏了也就亏了，万一赚了呢？
我见过有人把夏普比率、最大回撤、甚至交易频率都加进奖励函数里。这样智能体就会更「稳健」。说白了，奖励函数就是你的价值观——你希望智能体成为什么样的交易员。
核心公式：奖励 = 收益 - 惩罚项（如手续费、滑点、回撤惩罚）
3.6 策略（Policy）—— 智能体的交易手册
策略就是智能体的「大脑」。它决定了：给定当前状态，应该采取什么动作。
策略有两种：
- 确定性策略：状态S下，永远执行动作A。比如「MACD金叉就买入」。
- 随机性策略：状态S下，有80%概率执行动作A，20%概率执行动作B。这有助于探索。
在强化学习里，我们通常用神经网络来表示策略。输入是状态，输出是动作概率分布。说白了，就是让神经网络学会一本「交易手册」。
3.7 价值函数（Value Function）—— 未来的眼光
价值函数回答一个问题：「我现在这个状态，未来能赚多少钱？」
它跟奖励不一样。奖励是「现在」的反馈，价值是「未来」的预期。
举个例子：
- 你持仓中，当前浮亏100块。这是奖励（负的）。
- 但你觉得行情马上要反转，未来能赚500块。这是价值（正的）。
价值函数就是帮智能体「看得更远」。没有价值函数，智能体就是个短视鬼——只看眼前利益，容易追涨杀跌。
个人经验：我刚开始写DQN时，价值网络老是收敛不了。后来发现是奖励尺度没归一化。把奖励缩放到[-1, 1]之间，训练立马稳定了。这种小细节，书上不会告诉你。
3.8 知识体系总览
下面这张图，把七个概念串起来了。你可以把它当成强化学习的「世界观」。
这张图你看懂了吗？
智能体观察状态，通过策略决定动作，动作影响环境，环境反馈新的状态和奖励。同时，价值函数在背后指导策略的优化方向。这就是强化学习的完整闭环。
一句话总结：智能体在环境中，根据状态做动作，获得奖励，同时用价值函数来优化策略。七个概念，缺一不可。
好了，这七个核心概念就讲到这里。你可能会觉得有点抽象，没关系。下一章我们会把这些概念全部代码化，让你亲手搭建一个最简单的强化学习回测框架。到时候你就知道，这些概念到底是怎么跑起来的。
公众号:蓝海资料掘金营，微信deep3321