01
课程导论
四足机器人发展史 · 强化学习基本概念 · 课程目标与学习路径
入门概览
02
四足机器人运动学基础
正运动学与逆运动学 · DH参数法 · 腿部工作空间分析
运动学DH
03
四足机器人动力学基础
牛顿-欧拉法 · 拉格朗日法 · 关节力矩与地面反作用力
动力学力矩
04
传统步态控制方法
CPG控制 · ZMP稳定性判据 · 轨迹规划与摆动腿控制
CPGZMP
05
强化学习数学基础
马尔可夫决策过程 · 贝尔曼方程 · 策略与价值函数
MDP贝尔曼
06
强化学习核心算法
Q-Learning · SARSA · DQN · 策略梯度方法
Q-LearningDQN
07
深度强化学习进阶
PPO算法 · SAC算法 · TD3算法原理与对比
PPOSACTD3
08
仿真环境搭建
MuJoCo物理引擎 · PyBullet环境 · 四足机器人URDF模型导入
MuJoCoPyBullet
09
奖励函数设计
步态周期奖励 · 能耗惩罚 · 稳定性奖励 · 速度跟踪奖励
奖励设计
10
状态空间设计
关节角度、角速度 · 机身姿态 · 足端接触力 · IMU数据
状态IMU
11
动作空间设计
位置控制模式 · 力矩控制模式 · 混合控制策略
动作控制
12
单腿摆动控制
使用PPO训练单腿摆动 · 轨迹跟踪 · 抗扰动能力
PPO单腿
13
对角小跑步态
Trot步态原理 · 左右腿协调 · 相位控制
Trot协调
14
溜蹄步态控制
Pace步态 · 横向平衡 · 侧向力补偿
Pace平衡
15
跳跃步态控制
Bound步态 · 前后腿协同 · 空中姿态调整
Bound跳跃
16
疾跑步态控制
Gallop步态 · 四拍节奏 · 高速稳定性
Gallop高速
17
步态切换与过渡
状态机设计 · 平滑过渡 · 混合步态策略
切换状态机
18
地形适应能力
崎岖地形 · 斜坡 · 楼梯 · 碎石路面的步态调整
地形适应
19
抗扰动控制
外力推搡 · 单腿失效 · 负载变化的鲁棒性训练
鲁棒扰动
20
Sim-to-Real迁移
域随机化 · 系统辨识 · 现实世界微调策略
Sim2Real迁移
21
课程学习策略
从简单到复杂的训练 · 自动课程生成 · 难度自适应
课程自适应
22
多智能体强化学习
群体四足机器人协同 · 编队控制 · 任务分配
多智能体编队
23
模仿学习在步态中的应用
专家数据采集 · 行为克隆 · GAIL算法
模仿学习GAIL
24
基于模型的强化学习
MPC与RL结合 · 学习动力学模型 · 规划与执行
MBRLMPC
25
硬件平台介绍
Unitree Go1 · SpotMicro · MIT Mini Cheetah硬件参数
硬件Go1
26
实机部署流程
模型导出 · ONNX推理 · 实时控制循环 · 通信协议
部署ONNX
27
性能评估指标
能耗效率 · 行走速度 · 稳定性度量 · 任务成功率
评估指标
28
常见问题与调试
训练不收敛 · 步态异常 · 抖动问题 · 过拟合
调试FAQ
29
前沿研究进展
基于Transformer的步态策略 · 元学习 · 零样本迁移
前沿Transformer
30
综合项目实战
从零训练一个四足机器人完成复杂地形穿越任务
实战项目