视觉引导抓取 · ACT
📚
30章 · 从入门到实战
第1章
视觉引导抓取概述
绪论
发展历程
视觉价值
ACT简介
课程架构
第2章
机器人基础
运动学
正/逆解
平行夹爪/吸盘
ROS2通信
第3章
视觉系统搭建
标定
RGB-D vs 单目
手眼标定
标定板实操
第4章
图像处理基础
预处理
滤波增强
边缘检测
轮廓提取
点云降采样
第5章
目标检测与分割
深度学习
YOLO
Mask R-CNN
3D点云分割
第6章
6D姿态估计
位姿
PnP算法
对应点法
PVNet
GDR-Net
第7章
抓取位姿生成
抓取表示
GG-CNN
六维力表示
质量评估
碰撞检测
第8章
ACT模型原理(上)
Transformer
架构回顾
Chunking
时序编码
第9章
ACT模型原理(下)
多模态
动作空间
多模态融合
损失函数
训练策略
第10章
数据采集与标注
数据集
遥操作采集
数据增强
LabelImg
HDF5/JSON
第11章
模型训练实战
训练
PyTorch/GPU
训练脚本
超参数调优
TensorBoard
第12章
模型评估与调试
评估
成功率/移动距离
失败模式
Grad-CAM
第13章
模型部署与推理
部署
TorchScript/ONNX
TensorRT
实时性分析
第14章
机器人控制接口
控制
ROS2 Action
MoveIt2
速度/位置控制
力控基础
第15章
系统集成(上)
集成
视觉与ACT对接
数据流设计
同步机制
第16章
系统集成(下)
安全
异常处理
状态机
日志回放
第17章
仿真环境搭建
仿真
CoppeliaSim/Gazebo
URDF
视觉传感器
物理引擎
第18章
仿真训练与迁移
Sim2Real
域随机化
仿真数据生成
迁移学习
第19章
抓取规划进阶
规划
多物体场景
动态抓取
堆叠策略
第20章
力觉与柔顺控制
力控
力/位混合
阻抗控制
装配柔顺
第21章
多模态感知融合
融合
视觉+触觉
视觉+力觉
不确定性估计
第22章
移动操作臂系统
移动
底盘导航
全局/局部规划
手眼协调
第23章
人机协作场景
协作
安全距离
动态避障
交互界面
第24章
性能优化
优化
知识蒸馏/剪枝
延迟优化
多线程/异步
第25章
鲁棒性提升
鲁棒
光照变化
遮挡处理
噪声抑制
异常恢复
第26章
实际案例1：工业分拣
案例
随机料箱抓取
系统架构
参数效果
第27章
实际案例2：物流包裹
案例
传送带动态抓取
系统架构
效果分析
第28章
实际案例3：家庭服务
案例
桌面杂乱场景
系统架构
关键参数
第29章
前沿进展
前沿
扩散策略
3D基础模型
LLM+机器人
第30章
课程总结与展望
结课
知识体系
FAQ
学习路径
开源资源