强化学习驱动的机器人运动控制实战

📚 共计 30 章节

课程导论与预备知识

强化学习在机器人控制中的定位 · 课程目标与学习路径 · Python与PyTorch环境搭建 · Gymnasium与MuJoCo仿真器简介

环境搭建入门

马尔可夫决策过程

MDP四元组定义 · 状态与动作空间 · 奖励函数设计原则 · 折扣因子与回报 · 策略与价值函数

动态规划与策略迭代

策略评估 · 策略改进 · 策略迭代算法 · 值迭代算法 · Gymnasium环境下的DP实现

动态规划策略迭代

蒙特卡洛方法

蒙特卡洛预测 · 首次访问与每次访问 · 蒙特卡洛控制 · 探索性初始化 · Gymnasium中的MC实现

蒙特卡洛无模型

时序差分学习

TD(0)预测 · SARSA算法 · Q-Learning算法 · 期望SARSA · Cliff Walking环境实战

DQN原理 · 经验回放 · 目标网络 · Double DQN · Dueling DQN · CartPole环境实战

DQN深度强化学习

策略梯度方法

REINFORCE算法 · 策略梯度定理 · Baseline技巧 · Actor-Critic架构 · LunarLander环境实战

策略梯度Actor-Critic

近端策略优化

PPO-Clip与PPO-Penalty · 重要性采样 · GAE优势估计 · PPO在MuJoCo中的实现

基于模型的强化学习

环境建模 · Dyna架构 · Model-Based Policy Optimization · 仿真与真实差距

基于模型Dyna

机器人运动学基础

刚体变换 · 正运动学 · 逆运动学 · 雅可比矩阵 · URDF文件解析

MuJoCo物理引擎

安装与配置 · XML建模 · 传感器与执行器 · 仿真步进与数据获取

MuJoCo物理仿真

Gymnasium机器人环境

Ant-v4 · HalfCheetah-v4 · Humanoid-v4 · Walker2d-v4环境详解

Gymnasium机器人

状态表示与特征工程

原始传感器数据处理 · 归一化与标准化 · 状态堆叠 · 领域随机化

特征工程归一化

动作空间与平滑控制

连续动作空间 · 动作缩放 · 动作平滑 · 力矩限制与安全约束

动作空间安全

稀疏奖励问题 · 势能函数塑形 · 进度奖励 · 能量效率奖励 · 安全惩罚项

奖励设计塑形

单足机器人平衡控制

问题定义 · PD控制器基线 · PPO训练 · 奖励函数调优 · 仿真实验

四足机器人步态生成

步态周期 · CPG概念 · RL生成步态 · 混合控制策略 · Unitree Go1仿真

双足机器人行走控制

稳定性判据 · ZMP与CoM · RL行走策略 · Fall Recovery · Cassie仿真

机械臂抓取控制

抓取姿态表示 · 阻抗控制 · RL抓取策略 · 域随机化 · Franka Emika仿真

机械臂抓取

多机器人协同控制

集中式与分布式训练 · MADDPG算法 · 协同搬运 · 编队控制

多智能体协同

Sim-to-Real迁移

域随机化 · 系统辨识 · 对抗扰动 · 教师-学生策略蒸馏 · 真实机器人部署流程

安全强化学习

约束MDP · 拉格朗日方法 · 安全屏障函数 · Safe Exploration · 机器人安全停障

行为克隆 · GAIL算法 · 逆强化学习 · 专家数据采集 · Dagger算法

模仿学习GAIL

分层强化学习

Option框架 · 分层策略 · 子目标生成 · Hierarchical DQN · 复杂任务分解

元强化学习

MAML算法 · RL^2 · 任务分布 · 快速适应 · 机器人技能迁移

多模态感知与融合

视觉 · 触觉 · 力矩传感器 · 多模态编码器 · 注意力机制融合

多模态感知

基于视觉的机器人控制

端到端视觉策略 · 自监督表示学习 · Sim-to-Real视觉迁移 · 域适应

视觉端到端

机器人操作系统集成

ROS与RL接口 · 话题与服务通信 · 仿真与实机统一接口 · 实时控制

性能评估与调试

训练曲线分析 · 策略可视化 · 超参数调优 · 常见失败模式与修复

课程总结与前沿展望

具身智能 · 大模型与机器人 · 世界模型 · 未来研究方向 · 学习资源推荐