策略搜索算法零基础入门

📚 共计 30 章节

策略搜索入门

什么是策略搜索 · 与监督学习区别 · 核心要素(状态/动作/奖励/策略) · 应用场景

游戏AI机器人自动驾驶

策略表示方法

确定性/随机性策略 · 表格/函数表示 · 线性网络 · 参数化与梯度

神经网络参数化

策略评估基础

V(s)与Q(s,a) · 贝尔曼期望方程 · 蒙特卡洛 · 时序差分TD(0)

值函数TD学习

策略迭代与值迭代

策略迭代(评估+改进) · 值迭代 · 对比 · 收敛性分析

动态规划收敛

REINFORCE算法

策略梯度定理 · REINFORCE原理 · 伪代码 · 高方差问题

蒙特卡洛梯度

Actor-Critic方法

Actor-Critic架构 · 优势函数 · A2C算法 · 伪代码实现

信任区域 · PPO-Clip/Penalty · 连续控制任务

确定性策略+Q学习 · Actor/Critic网络 · OU噪声

连续动作深度

最大熵强化学习 · 软策略迭代 · 自动温度调节

探索与利用

ε-贪婪 · UCB · 熵正则化 · 参数/动作噪声

稀疏奖励 · 奖励塑形 · 逆强化学习(IRL) · 偏好学习

像素/传感器 · 特征工程 · 自编码器 · 对比学习 · 归一化

表示学习预处理

离散/连续 · 离散化 · 参数化 · 多智能体动作

连续控制离散

MLP · CNN · RNN/LSTM · Transformer策略

深度学习序列

梯度裁剪 · 学习率调度 · 经验回放 · 目标网络

多任务与迁移

多任务学习 · 策略迁移 · 域随机化 · 元学习

行为克隆 · DAgger · IRL+策略搜索 · GAIL

分层强化学习

Option框架 · 子目标/子策略 · 端到端训练 · 复杂任务

多智能体系统

CTDE · MADDPG · 通信与协作

多智能体MADDPG

安全与约束

CMDP · 拉格朗日方法 · 安全策略优化(CPO)

Offline RL · 分布偏移 · CQL · BRAC

模型基方法

MBRL · 世界模型 · MPC · Dreamer

ES概述 · CMA-ES · 对比策略梯度 · 应用

进化无梯度

贝叶斯方法

贝叶斯RL · 高斯过程 · 贝叶斯神经网络 · 不确定性

贝叶斯不确定性

注意力机制

自注意力 · Transformer策略 · 图注意力(GAT) · 可解释性

课程学习概述 · 自动/逆向课程生成 · 策略应用

鲁棒RL · 对抗攻击/防御 · 域随机化 · 鲁棒优化

注意力可视化 · 特征重要性 · 规则解释

可解释可视化

压缩量化 · 模型蒸馏 · 边缘部署 · 实时推理

前沿与未来

大语言模型+策略搜索 · 世界模型 · AGI · 开放问题