ACT 工具箱 · 课程目录
🤖 具身智能
30章
1
ACT框架全景
模仿·行为克隆
编码器、解码器、动作头，具身智能定位与核心组件概览
2
环境搭建
Conda·PyTorch
CUDA/cuDNN版本匹配、ACT依赖库安装，一步到位
3
数据采集基础
硬件·ROS
相机/机械臂选型、ROS录制、HDF5/JSON格式详解
4
数据预处理
增强·划分
图像裁剪归一化、关节平滑、增强策略与数据集划分
5
动作编码器
VAE·CVAE
变分自编码器原理、条件变分、隐空间采样
6
视觉编码器
ResNet·ViT
多视角融合、特征金字塔，视觉主干选型
7
时序建模
Transformer
Encoder-Decoder、位置编码、因果/双向掩码
8
动作解码器
分块预测
动作头设计、分块策略、序列平滑后处理
9
损失函数
多任务加权
动作重建、KL散度、关键点损失与加权策略
10
训练流程
调度·早停
训练循环、学习率调度、梯度裁剪、模型保存加载
11
评估指标
成功率·平滑度
轨迹平滑度、任务完成时间、泛化能力测试
12
推理部署
TorchScript·ONNX
模型导出、推理优化、实时性调优
13
仿真环境搭建
MuJoCo·Isaac
场景构建、传感器仿真，两大仿真器对比
14
仿真到现实迁移
域随机化
视觉域适应、动力学参数校准、Sim2Real
15
多任务学习
任务编码
共享/独立参数、梯度冲突解决、多任务ACT
16
数据高效学习
回放·课程
数据增强、回放缓冲区、课程学习、模仿+强化
17
鲁棒性提升
对抗·噪声
对抗训练、噪声注入、模型集成、不确定性估计
18
长时域任务
分层ACT
时间抽象、记忆机制、状态空间模型
19
人机交互
共享控制
人类示范采集、远程操作、意图预测
20
多机器人协同
分布式ACT
通信协议、协同规划、冲突解决
21
可解释性
注意力·归因
注意力可视化、隐空间分析、失败模式分析
22
模型压缩
蒸馏·量化
知识蒸馏、剪枝、轻量化架构设计
23
在线学习
微调·回放
在线数据收集、经验回放、灾难性遗忘缓解
24
安全与约束
安全屏障
动作空间约束、异常检测、紧急停止
25
硬件适配
UR5·Franka
不同机械臂标定、控制频率匹配、适配流程
26
感知融合
视觉+触觉
多模态对齐、缺失模态处理、力觉融合
27
场景理解
检测·场景图
物体检测分割、场景图构建、空间关系推理
28
任务规划
分解·重规划
子任务排序、动态重规划、异常恢复
29
开源项目实战
ALOHA
ACT官方仓库复现、ALOHA系统搭建、数据集使用
30
前沿趋势
扩散·3D
扩散策略、基础模型+ACT、具身智能展望