01
课程导论与预备知识
强化学习基础概念回顾 · 运动控制问题定义 · 仿真环境的作用与选择 · 课程整体路线图
导论预备
02
开发环境搭建
Python环境配置（Anaconda）· PyTorch安装 · MuJoCo安装与配置 · Gymnasium库安装 · 验证环境
环境配置
03
Gymnasium入门
Gymnasium核心API详解 (Env, Space, Wrapper) · 创建CartPole环境 · 环境交互循环 · 渲染与可视化
APICartPole
04
运动控制基础
刚体运动学与动力学简介 · 关节空间与任务空间 · 正运动学与逆运动学 · 控制模式 (位置/速度/力矩)
运动学控制
05
MuJoCo物理引擎入门
MuJoCo核心概念 (Model, Data, Scene) · XML模型文件结构 · 编译与加载模型 · 步进仿真与获取状态
MuJoCo仿真
06
MuJoCo XML建模（上）
基础几何体 (Box, Sphere, Cylinder) · Body与Joint的定义 · Geom与Site · Actuator配置
XML几何体
07
MuJoCo XML建模（下）
Mesh与STL文件导入 · Tendon与Flexibility · Equality Constraint · 自定义传感器
高级传感器
08
搭建单关节摆锤环境
设计目标与任务定义 · 编写XML模型文件 · 创建Gymnasium环境类 · reset/step方法 · 测试环境
摆锤单关节
09
搭建双关节摆锤环境
从单关节扩展到双关节 · 动力学耦合 · 状态/动作空间设计 · 奖励函数 (摆起与稳定)
双关节奖励
10
搭建2D平面机械臂环境
2R机械臂模型XML · 工作空间与关节空间映射 · 目标点到达任务 · 碰撞检测与终止条件
2R臂平面
11
搭建3D机械臂环境
UR5模型简化与XML转换 · 6自由度控制 · 末端执行器姿态控制 · 任务空间奖励设计
UR53D
12
搭建四足机器人环境（上）
四足机器人运动学简介 · Go1模型简化 · XML模型编写 (躯干与四条腿)
四足Go1
13
搭建四足机器人环境（下）
添加地面与摩擦参数 · 接触动力学 · 步态控制接口 · 奖励函数 (前进速度与稳定性)
步态摩擦
14
搭建双足机器人环境
双足平衡问题 · 简化双足模型XML · PD控制器与力矩控制 · 奖励函数 (不倒与行走)
双足平衡
15
搭建无人机悬停环境
四旋翼动力学基础 · 无人机XML模型 · 螺旋桨推力模型 · 悬停任务奖励设计
无人机悬停
16
搭建灵巧手操作环境
Allegro Hand模型简介 · 手指关节控制 · 抓取任务定义 · 稀疏奖励与密集奖励
灵巧手抓取
17
搭建多智能体协作环境
多智能体强化学习简介 · 两个机械臂协作搬运 · 共享奖励与个体奖励设计
多智能体协作
18
搭建带视觉输入的环境
MuJoCo渲染与图像获取 · 相机配置 · 像素级状态与特征提取 · CNN策略接口
视觉CNN
19
搭建带噪声与延迟的环境
传感器噪声建模 · 执行器延迟模拟 · 部分可观测环境设计 · 鲁棒性测试
噪声延迟
20
搭建随机化环境
域随机化原理 · 物理参数随机化 (质量/摩擦/刚度) · 视觉随机化 (光照/纹理) · 泛化能力测试
域随机化泛化
21
搭建竞赛级环境
参考Isaac Gym与Maniskill · 复杂任务分解 · 稀疏奖励与课程学习 · 性能优化 (批量仿真)
竞赛批量
22
环境测试与调试
单元测试环境 (reset/step一致性) · 可视化调试工具 · 奖励函数可视化 · 常见Bug排查
测试调试
23
环境封装与标准化
Gymnasium Wrapper详解 · Wrapper链式组合 · 自定义Wrapper (归一化/剪辑/记录) · 注册环境
Wrapper标准化
24
与强化学习算法集成（上）
PPO算法简介 · Stable-Baselines3库使用 · 训练自定义环境 · 模型保存与加载
PPOSB3
25
与强化学习算法集成（下）
自定义策略网络 · 自定义价值网络 · 多模态输入处理 · 分布式训练设置
网络分布式
26
与强化学习算法集成（进阶）
HER在运动控制中的应用 · 课程学习实现 · 模仿学习初始化
HER课程学习
27
仿真到现实迁移（Sim-to-Real）
Sim-to-Real挑战概述 · 域随机化实战 · 系统辨识方法 · 零样本迁移与微调
Sim2Real迁移
28
性能优化与加速
批量环境并行 (Vectorized) · GPU物理加速 (MJX) · 多进程采样 · 训练速度对比
加速MJX
29
项目实战：倒立摆摆起与稳定
任务定义与建模 · PPO训练与调参 · 结果分析与可视化 · 常见失败模式分析
倒立摆实战
30
项目实战：四足机器人步态学习
任务定义与建模 · 步态奖励设计 · 训练与仿真 · 迁移到真实机器人注意事项
四足步态