4. PPO算法精讲：从TRPO的痛点出发

大家好，我是你们的老朋友。今天我们来聊聊PPO——这个在强化学习领域几乎人手一个的算法。

说实话，我刚开始接触策略梯度方法时，TRPO（Trust Region Policy Optimization）让我又爱又恨。爱的是它理论扎实，恨的是它实现起来太复杂了。每次调参都像在走钢丝，稍有不慎就崩了。

嗯，PPO就是来解决这个问题的。

4.1 PPO的动机：TRPO到底哪里不好用？

先说说TRPO的核心思想。它想保证每次更新策略时，新旧策略不要差太远。这个想法很好，但实现方式太绕了——要用共轭梯度法解约束优化问题，还要算Fisher信息矩阵。

我在项目中遇到过这种情况：一个简单的机器人控制任务，TRPO的代码量是PPO的两倍多。而且每次训练都要花大量时间在矩阵运算上。说白了，TRPO像个精密的瑞士钟表，但我们需要的是耐用的电子表。

TRPO的优化目标长这样：

maximize E[ratio * A]  
subject to KL(π_old || π_new) ≤ δ

这个约束条件就是罪魁祸首。每次更新都要解一个带约束的优化问题，计算量巨大。

PPO的动机很直接：能不能用更简单的方式，达到同样的效果？

核心洞察：TRPO的约束本质上是为了防止策略更新过大导致崩溃。PPO用裁剪（Clipping）的方式，从目标函数层面解决了这个问题。

4.2 裁剪替代目标：PPO的精髓

PPO提出了一个非常优雅的方案——裁剪替代目标（Clipped Surrogate Objective）。

先定义一下比率（ratio）：

r_t(θ) = π_θ(a_t|s_t) / π_θ_old(a_t|s_t)

这个比率表示新策略相对于旧策略的概率变化。如果r_t大于1，说明新策略更倾向于采取这个动作；小于1则相反。

PPO的目标函数是：

L^CLIP(θ) = E[min(r_t * A_t, clip(r_t, 1-ε, 1+ε) * A_t)]

这里的关键是min操作和clip函数。我给大家拆解一下：

  • 当优势A_t > 0时：我们希望增大这个动作的概率，但限制r_t不超过1+ε
  • 当优势A_t < 0时：我们希望减小这个动作的概率，但限制r_t不低于1-ε

为什么要这样设计？

你想想看，如果A_t是正的，说明这个动作好。但如果你把概率提得太高（r_t变得很大），万一是个偶然的好结果呢？裁剪就是防止你过度自信。

我的经验：ε通常取0.2。但我在一个Atari游戏项目中试过0.1，收敛更慢但更稳定。具体选哪个，建议先跑几个epoch看看KL散度的变化趋势。

4.3 PPO的两种变体：Clip vs Penalty

PPO其实有两个版本，但大多数人只用了PPO-Clip。另一个PPO-Penalty也有它的用武之地。

特性 PPO-Clip PPO-Penalty
核心机制 裁剪比率 KL散度惩罚
超参数 ε（裁剪范围） β（惩罚系数）
实现难度 简单 中等
自适应 无 有（调整β）
使用频率 90%以上 较少

PPO-Clip：就是上面讲的那个。简单粗暴，效果很好。我90%的项目都用这个。

PPO-Penalty：把约束变成了惩罚项。目标函数变成：

L^KLPEN(θ) = E[r_t * A_t] - β * KL(π_old || π_new)

β会自适应调整。如果KL散度太大，就增大β；太小就减小β。听起来很智能对吧？但实际用起来，β的调整策略本身就需要调参。

避坑指南：我曾经在一个连续控制任务中尝试PPO-Penalty，结果β的更新策略和任务本身的reward尺度耦合在一起，调了三天才稳定。后来换成PPO-Clip，半天就搞定了。

4.4 PPO的实践调参经验

这部分是我最想分享的。纸上得来终觉浅，绝知此事要躬行。

先看一个完整的PPO训练流程伪代码：

for iteration in range(max_iterations):
    # 1. 收集数据
    for step in range(T):
        action = policy_old(state)
        state, reward, done = env.step(action)
        store transition
    
    # 2. 计算优势
    advantages = GAE(rewards, values)
    
    # 3. 更新策略（多个epoch）
    for epoch in range(K):
        for minibatch in data:
            ratio = policy(state) / policy_old(state)
            clipped_ratio = clamp(ratio, 1-ε, 1+ε)
            loss = -min(ratio * A, clipped_ratio * A)
            update policy with loss
    
    # 4. 更新价值网络
    value_loss = MSE(values, returns)
    update value network

调参经验，我总结了几条：

  • 学习率：3e-4是个不错的起点。Adam优化器是标配。
  • 裁剪范围ε：0.2最常用。如果训练不稳定，试试0.1或0.3。
  • GAE的λ：0.95是默认值。任务需要长期记忆时，可以调到0.99。
  • 更新次数K：3-10次。太多会导致过拟合，太少则样本效率低。
  • batch size：256-2048。取决于你的环境和计算资源。

最重要的经验：先让算法能跑通，再谈优化。我见过太多人一上来就调各种超参数，结果连reward都没上升。先确保你的数据流、梯度计算、网络结构都没问题。

还有一个容易被忽略的点：优势估计。GAE（Generalized Advantage Estimation）的参数λ对PPO影响很大。λ=0时相当于只看单步TD误差，λ=1时相当于蒙特卡洛回报。我一般从0.95开始调。

最后说一句，PPO虽然比TRPO简单，但也不是无脑就能用好的。每个任务都有自己的脾气，多跑几次，多看看reward曲线和KL散度的变化，慢慢就有感觉了。

我的小技巧：训练时同时监控KL散度。如果KL散度一直很小（比如<0.01），说明策略几乎没更新，可以适当增大学习率或减小裁剪范围。如果KL散度突然飙升，说明更新太大了，赶紧减小学习率。

好了，PPO的核心内容就这些。下一节我们会聊聊如何把PPO应用到实际项目中，包括分布式训练和工程优化。但那是后话了。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →