第1章课程导论

一、课程导论：强化学习与多资产组合交易概述

各位同学好，我是这门课的主讲。今天咱们聊聊这门课到底要干什么，以及你该怎么学。

先说说我自己的经历。几年前我刚接触量化交易时，满脑子都是「找个神奇公式就能躺赚」。结果呢？实盘跑了一个月，亏得我差点怀疑人生。后来我才明白——市场是动态的，静态策略根本扛不住。这也是为什么我后来一头扎进强化学习的原因。

说白了，强化学习就是让机器自己学会「在变化中做决策」。你想想看，交易不就是不断决策吗？什么时候买、买多少、什么时候卖——这不就是强化学习的典型场景吗？

1.1 强化学习与多资产组合交易概述

先给个直观理解。传统量化策略，比如均线策略、动量策略，都是「写死规则」。市场一变，规则就废了。强化学习不一样——它让智能体（Agent）在环境中不断试错，通过奖励信号来优化行为。

多资产组合交易呢？就是同时管理多个品种。比如你同时持有股票、债券、商品。这比单品种交易难得多——因为资产之间会互相影响。你想想看，股票跌了，债券可能涨，这就是对冲。强化学习正好擅长处理这种「多变量、非线性」的关系。

核心概念速览：

智能体（Agent）：你的交易策略程序
环境（Environment）：市场数据、订单簿、交易规则
状态（State）：当前持仓、价格、技术指标等
动作（Action）：买入、卖出、持有，以及具体数量
奖励（Reward）：盈亏、夏普比率、最大回撤等

嗯，这里要注意：奖励函数的设计非常关键。我在项目中遇到过，有人直接用「总收益」做奖励，结果模型学会了「重仓赌一把」。这显然不是我们想要的。

1.2 课程目标与学习路径

这门课的目标很明确：让你能独立搭建一个强化学习多资产交易系统。不是纸上谈兵，是能跑实盘的那种。

具体来说，学完这门课你应该能：

理解强化学习的核心算法（DQN、PPO、SAC等）
设计多资产组合的状态空间和动作空间
构建奖励函数，平衡收益与风险
处理实盘中的滑点、手续费、流动性问题
回测、评估、部署你的策略

学习路径我建议这样走：

阶段	内容	预计时间
基础	数学、编程、金融基础回顾	1-2周
核心	强化学习算法 + 交易环境搭建	3-4周
进阶	多资产组合策略设计 + 实盘优化	2-3周
实战	完整项目：从回测到实盘	2周

我个人习惯是「先跑通再优化」。别一开始就追求完美，先让模型跑起来，看到结果，再慢慢调参。这样学得快。

1.3 必备数学与编程基础回顾

说到数学，很多同学就头疼。其实不用怕，咱们用到的数学没那么深。

概率论与数理统计：这个最重要。你得理解期望、方差、协方差——这些是衡量风险和收益的基础。比如，为什么我们要用协方差矩阵来刻画资产间的关系？因为不同资产一起涨跌的概率，直接决定了组合的风险。

线性代数：矩阵运算、特征值分解。说白了，就是处理多维数据。你想想看，10个资产，每个资产有20个特征，那就是200维的数据。不用矩阵，你怎么算？

微积分：主要是求导。强化学习里的梯度下降，就是靠求导来更新参数的。不过你放心，框架都帮你封装好了，你只需要理解原理。

小提示：如果你数学基础一般，别慌。我建议你重点复习「概率论」和「线性代数」的基础概念。微积分部分，知道链式法则就够了。剩下的，遇到不会的再查。

编程基础：Python是必须的。你需要熟悉：

NumPy：数组操作、矩阵运算
Pandas：数据处理、时间序列
Matplotlib/Seaborn：可视化
PyTorch/TensorFlow：深度学习框架（二选一）

这里我踩过一个坑。以前我用Pandas处理分钟级数据，没注意数据类型，结果内存爆了。后来才学会用float32代替float64，内存直接减半。嗯，细节决定成败。

下面是一个简单的环境搭建示例，帮你快速上手：

# 安装必要的库
# pip install numpy pandas matplotlib gym stable-baselines3

import numpy as np
import pandas as pd
import gym
from gym import spaces

class TradingEnv(gym.Env):
    """一个简单的单资产交易环境"""
    def __init__(self, data):
        super(TradingEnv, self).__init__()
        self.data = data
        self.current_step = 0
        
        # 动作空间：0=持有，1=买入，2=卖出
        self.action_space = spaces.Discrete(3)
        
        # 状态空间：价格、持仓、现金
        self.observation_space = spaces.Box(
            low=-np.inf, high=np.inf, shape=(3,), dtype=np.float32
        )
    
    def reset(self):
        self.current_step = 0
        self.balance = 10000  # 初始资金
        self.position = 0     # 初始持仓
        return self._get_obs()
    
    def _get_obs(self):
        price = self.data.iloc[self.current_step]['close']
        return np.array([price, self.position, self.balance], dtype=np.float32)
    
    def step(self, action):
        # 执行动作
        price = self.data.iloc[self.current_step]['close']
        if action == 1:  # 买入
            self.position += self.balance // price
            self.balance -= self.position * price
        elif action == 2:  # 卖出
            self.balance += self.position * price
            self.position = 0
        
        self.current_step += 1
        done = self.current_step >= len(self.data) - 1
        
        # 计算奖励（简单用收益）
        next_price = self.data.iloc[self.current_step]['close']
        reward = self.position * (next_price - price)
        
        return self._get_obs(), reward, done, {}

注意：上面的代码只是一个教学示例，千万别直接拿去实盘。真实交易要考虑滑点、手续费、市场冲击成本。这些我们后面会详细讲。

最后，我建议你先把环境搭好。Python 3.8以上，装好必要的库。然后跑一下上面的代码，看看能不能正常运行。有问题随时问。

好了，这一章就到这里。记住：强化学习交易不是魔法，它只是一个工具。用得好不好，取决于你对市场的理解，以及对算法的掌握。咱们一步一步来。

公众号:蓝海资料掘金营，微信deep3321

📚 课程目录

一、课程导论：强化学习与多资产组合交易概述

1.1 强化学习与多资产组合交易概述

1.2 课程目标与学习路径

1.3 必备数学与编程基础回顾