具身智能 · 动作学习全流程
30章 从入门到前沿
01
具身智能概述
定义
发展历程
感知-规划-行动
应用场景
02
机器人硬件基础
RGB-D相机
IMU
力/力矩传感器
电机·气动
计算平台
03
动作表示方法
关节/任务空间
位置/速度/力控制
DMP
ProMP
04
运动学与动力学
正/逆运动学
雅可比矩阵
拉格朗日建模
05
仿真环境搭建
MuJoCo
PyBullet
Isaac Gym
06
数据采集与预处理
遥操作
动捕系统
数据清洗
时间同步
07
行为克隆 (BC)
原理
CNN/MLP
训练与评估
08
强化学习基础 (RL)
MDP
Q-Learning
Policy Gradient
PPO
09
基于RL的动作学习
仿真训练
抓取·行走
奖励函数设计
10
模仿学习进阶
DAgger
GAIL
逆强化学习(IRL)
11
动作序列建模
RNN/LSTM
Transformer
动作预测
12
视觉-语言-动作模型(VLA)
RT-1
RT-2
PaLM-E
13
扩散策略 (Diffusion Policy)
扩散模型
动作生成
原理与实现
14
动作泛化与迁移学习
域随机化
Sim-to-Real
15
安全与约束
动作空间约束
安全屏障函数
力位混合控制
16
多模态融合
视觉
触觉
听觉融合
17
灵巧操作
多指手控制
抓取姿态生成
in-hand操作
18
移动操作
导航+抓取
移动底盘与机械臂协同
19
人机交互
示教学习(LfD)
共享控制
意图理解
20
动作评估指标
成功率
执行时间
平滑度
泛化性·鲁棒性
21
模型部署与优化
模型量化
TensorRT
ONNX
机器人部署
22
实时性优化
控制频率
延迟分析
异步推理
23
故障诊断与恢复
异常检测
重试策略
安全停机
24
开源框架与工具
ROS2
MoveIt2
OpenCV
PyTorch
25
项目实战1：BC抓取
基于BC
仿真到真机
简单抓取
26
项目实战2：RL推箱子
机械臂推箱子
强化学习
27
项目实战3：扩散策略
开瓶
叠衣服
复杂操作
28
前沿趋势
世界模型
Foundation Model
具身大模型
29
伦理与挑战
数据隐私
就业影响
安全法规
30
课程总结与未来展望
知识体系回顾
学习路径
研究方向