具身智能数据采集与动作复现 · 课程目录

01具身智能概述

从图灵测试到具身智能，定义与核心要素，三大技术支柱：感知、认知、行动

02数据采集基础

传感器选型 (RGB-D、触觉、IMU)，硬件平台搭建 (机械臂+夹爪+底盘)

03动作表示与编码

关节/任务空间表示，动作基元与轨迹编码 (DMP、ProMP)

04遥操作数据采集

主从遥操作原理，力/视觉反馈，商用设备 (Shadow Hand、Falcon)

直接拖动机器人示教，重力补偿与零力控制，轨迹平滑滤波

模仿学习视觉输入，第一/三人称视角，特征提取 (SIFT、ORB、深度特征)

07多模态数据融合

时间戳对齐，空间坐标系标定，数据同步与插值

08数据标注与增强

语义标注 (动作/物体标签)，增强策略 (加噪、裁剪、时间扭曲)

09数据存储与管理

数据格式 (HDF5、ROS Bag)，版本管理 (DVC)，隐私与安全

10动作复现基础

轨迹跟踪控制 (PID、前馈)，阻抗控制与柔顺控制

11动态运动基元 (DMP)

DMP原理，强迫项学习，多自由度DMP，泛化与调制

12概率运动基元 (ProMP)

ProMP原理，轨迹分布建模，条件生成与融合

13隐式行为克隆 (IBC)

能量模型，对比学习，IBC在动作复现中的应用

14显式行为克隆 (BC)

端到端模仿学习，策略网络 (CNN、Transformer)，损失函数

15逆强化学习 (IRL)

从专家轨迹学习奖励函数，最大熵IRL，对抗式IRL (GAIL)

16动作序列时序建模

HMM，条件变分自编码器 (CVAE)，时序扩散模型

17动作泛化与迁移

域随机化，域自适应，元学习在动作泛化中的应用

18鲁棒性与安全性

异常检测 (动作/传感器)，安全约束 (力/力矩限制、避障)，故障恢复

19仿真环境搭建

MuJoCo、Isaac Gym、SAPIEN，Sim-to-Real迁移

任务成功率，轨迹误差 (RMSE、DTW)，动作平滑度

21开源数据集介绍

RoboTurk、MIME、RH20T，数据集分析与使用

22案例：基于DMP的插拔插头

机械臂插拔插头动作复现 (DMP)

23案例：BC桌面抓取放置

基于BC的桌面物体抓取与放置

24案例：GAIL复杂装配

基于GAIL的复杂装配任务学习

25案例：多机器人协同

多机器人协同数据采集与动作复现

26前沿：LLM驱动动作规划

大语言模型驱动的动作规划，视觉-语言-动作 (VLA) 模型

27前沿：扩散策略

Diffusion Policy 在动作生成中的应用

28前沿：3D场景通用操作

基于3D场景理解的通用操作模型

具身智能数据闭环，从数据到技能的飞轮效应

通用机器人大脑，具身智能的Scaling Law