01
策略搜索算法概述
什么是策略搜索 · 与监督学习区别 · 核心挑战：探索-利用困境、高维动作空间、信用分配
基础概念
02
策略梯度理论基础
策略梯度定理 · REINFORCE · 蒙特卡洛方差 · 基线引入与作用
梯度REINFORCE
03
Actor-Critic架构
从策略梯度到Actor-Critic · 价值函数Critic · 优势函数 · A2C vs A3C
架构A2CA3C
04
PPO算法精讲
PPO动机 · 裁剪替代目标 · PPO-Clip与PPO-Penalty · 实践调参经验
PPO稳定
05
SAC算法深度解析
最大熵框架 · 软策略迭代 · 温度α自动调节 · 连续控制优势
SAC最大熵
06
DDPG与TD3
确定性策略梯度 · DDPG架构 · TD3三大改进 · 经验回放优化
DDPGTD3
07
进化策略（ES）
ES vs 梯度 · OpenAI-ES · CMA-ES · 分布式扩展
进化无梯度
08
交叉熵方法（CEM）
CEM流程 · 策略搜索应用 · 与梯度结合 · 收敛性分析
CEM采样
09
贝叶斯优化与策略搜索
高斯过程 · 采集函数(EI/PI/UCB) · 超参数调优 · 贝叶斯策略搜索
贝叶斯GP
10
基于模型的策略搜索
Dynamics模型 · MPC · MBPO · 模型偏差与解决方案
模型MPC
11
无模型策略搜索进阶
随机/确定性策略 · 参数化方法 · 正则化技术
无模型正则
12
探索策略设计
ε-贪婪 · 噪声注入 · 内在动机 · 计数探索 · 好奇心驱动
探索好奇心
13
多任务与迁移策略搜索
多任务学习 · 策略蒸馏 · MAML · 领域随机化
迁移元学习
14
分层策略搜索
Options框架 · 分层强化学习 · 子目标生成 · 端到端训练
分层HRL
15
逆强化学习与策略搜索
IRL基础 · 最大熵IRL · GAIL · 从演示中学习
IRLGAIL
16
分布式策略搜索框架
A3C异步 · IMPALA V-trace · SEED RL · 通信优化
分布式IMPALA
17
策略搜索中的样本效率
样本效率度量 · 数据增强 · 模型辅助 · 离线策略评估
样本效率数据增强
18
离线策略搜索（Offline RL）
离线挑战 · BCQ · CQL · IQL · 离线到在线微调
离线CQL
19
安全策略搜索
CMDP建模 · 拉格朗日方法 · CPO · 安全探索
安全CPO
20
多智能体策略搜索
MARL基础 · IQL · CTDE · MADDPG · 多智能体PPO
多智能体MADDPG
21
策略搜索中的表示学习
状态表示 · 对比学习 · 世界模型 · Dreamer系列
表示世界模型
22
注意力机制与Transformer策略
Transformer策略网络 · Decision Transformer · Gato · 序列建模
TransformerDT
23
图神经网络与策略搜索
GNN基础 · 关系推理 · 图策略网络 · 组合泛化
GNN关系
24
策略搜索中的奖励设计
奖励塑形 · 势能函数 · 稀疏奖励 · 课程学习
奖励课程
25
策略搜索的评估与诊断
评估指标 · TensorBoard/WandB · 超参数敏感性 · 消融实验
评估诊断
26
策略搜索的工程实践
SB3/RLlib/Acme · Gymnasium · 日志监控 · MLflow
工程SB3
27
策略搜索在机器人控制中的应用
Sim-to-Real · 域随机化 · 抓取/推/放置 · 运动控制
机器人Sim2Real
28
策略搜索在游戏AI中的应用
Atari · AlphaGo系列 · StarCraft II · Dota 2/OpenAI Five
游戏AlphaGo
29
策略搜索在自动驾驶中的应用
决策规划 · 模仿+强化 · 安全约束 · 多智能体交互
自动驾驶安全
30
策略搜索前沿与未来趋势
大语言模型+策略 · 基础模型 · 可解释策略搜索 · AGI路径
前沿AGI