强化学习路径规划入门 · 课程目录

01初识强化学习

发展史 · 智能体/环境/状态/动作/奖励 · 与监督学习的区别

02马尔可夫决策过程

MDP五元组 · 状态转移概率 · 奖励函数 · 折扣因子 · 策略与价值函数

03动态规划与策略迭代

策略评估/改进 · 策略迭代 · 值迭代 · Grid World示例

04蒙特卡洛方法

蒙特卡洛预测 · 首次/每次访问 · 蒙特卡洛控制 · 探索性初始化

05时序差分学习

TD(0) · SARSA · Q-Learning · TD与MC对比

06多臂老虎机问题

探索与利用 · ε-贪心 · UCB · Thompson采样

07函数逼近与深度学习

线性逼近 · 神经网络基础 · DQN诞生背景

08深度Q网络

DQN原理 · 经验回放 · 目标网络 · 训练技巧与调参

Double DQN · Dueling DQN · Prioritized Replay · Rainbow

10策略梯度方法

REINFORCE · 策略梯度定理 · Baseline设计

11Actor-Critic方法

A2C · A3C · 优势函数估计

PPO-Clip/Penalty · 重要性采样 · 信任区域优化

最大熵强化学习 · 软策略评估/改进 · 自动调温

14路径规划问题建模

栅格地图 · 状态/动作空间 · 奖励函数设计

15基于Q-Learning的路径规划

Q表设计 · 探索策略 · 收敛性分析 · 迷宫示例

16基于DQN的路径规划

网络结构 · 状态编码 · 动作掩码 · 训练稳定性

17基于PPO的路径规划

连续动作空间 · 速度控制 · 避障奖励设计

18基于SAC的路径规划

软约束处理 · 多目标优化 · 路径平滑性

19分层强化学习

Option框架 · 子目标分解 · 分层策略训练

20逆强化学习

从专家演示学习奖励 · 最大熵逆强化学习

行为克隆 · GAIL · 与强化学习结合

22多智能体路径规划

集中训练分布执行 · QMIX · MADDPG

23部分可观测MDP

POMDP建模 · 信念状态 · DRQN网络

24安全强化学习

约束MDP · 安全层设计 · 惩罚函数

25迁移学习与元学习

策略迁移 · 环境随机化 · MAML算法

26仿真环境搭建

Gymnasium · 自定义环境 · PyBullet物理引擎

27训练与评估

训练曲线 · 超参数搜索 · 模型保存/加载 · 测试指标

28部署与实机验证

Sim-to-Real · ROS集成 · 实机调试技巧

29前沿研究方向

基于模型RL · 离线RL · 多模态感知

30课程总结与项目实战

仓库机器人路径规划 · FAQ · 学习路径推荐