深度视觉在机器人抓取中的应用
📚 共计 30 章节
01
深度视觉与机器人抓取概述
课程介绍 · 深度视觉技术简介 · 机器人抓取技术简介 · 应用价值 · 典型场景：工业分拣、物流拆垛、家庭服务
概述
应用场景
02
相机成像与标定基础
针孔相机模型 · 内参/外参 · 畸变模型 · 张正友标定 · 手眼标定 (Eye-in-Hand / Eye-to-Hand)
标定
相机模型
03
深度相机原理与选型
双目立体视觉 · 结构光 (Kinect v1) · ToF (Kinect v2/Azure) · RGB-D对比与选型指南
深度相机
选型
04
点云数据基础
点云数据结构 (PCL/Open3D) · 可视化 · 体素滤波 · 统计滤波 · 半径滤波
点云
滤波
05
点云配准与分割
ICP配准 · RANSAC平面分割 · 欧几里得聚类 · 区域生长分割
配准
分割
06
2D目标检测基础
CNN基础 · Faster R-CNN / YOLO / SSD · 在抓取中的应用
目标检测
CNN
07
6D姿态估计基础
PnP / EPnP · 对应点方法 (PVNet) · 模板方法 (LINEMOD) · 投票方法 (DenseFusion)
姿态估计
6D
08
抓取位姿表示
抓取矩形表示 (GG-CNN) · 六维位姿表示 · 抓取质量度量 (力封闭/形封闭)
位姿
抓取表示
09
经典抓取检测方法
几何分析 (GraspIt!) · 点云方法 (GPD) · 深度方法 (PointNetGPD)
经典方法
抓取检测
10
端到端抓取检测（一）
GG-CNN架构 · Jacquard数据集 · 训练与推理流程
GG-CNN
端到端
11
端到端抓取检测（二）
GraspNet架构 · 多抓取点生成 · 抓取评分与排序
GraspNet
评分
12
端到端抓取检测（三）
6-DoF GraspNet · 基于Transformer的抓取检测 (GraspGPT)
6-DoF
Transformer
13
抓取规划与运动学基础
机器人运动学 (正/逆解) · 轨迹规划 (关节/笛卡尔) · 避障 (RRT, CHOMP)
运动学
规划
14
抓取执行与控制
位置/力控制 · 阻抗控制 · 柔顺抓取 · 失败检测与恢复
控制
柔顺
15
仿真环境搭建（一）
CoppeliaSim (V-REP) · PyRep接口 · 场景搭建与URDF导入
仿真
CoppeliaSim
16
仿真环境搭建（二）
Isaac Gym/Sim · 大规模并行抓取训练 · 域随机化
Isaac
域随机化
17
抓取数据集详解
Cornell · Jacquard · GraspNet-1Billion · OCID-Grasp · 标注工具
数据集
标注
18
数据增强与域迁移
点云增强 (旋转/抖动/遮挡) · 域随机化 · Sim-to-Real迁移
增强
域迁移
19
多模态融合抓取
RGB+Depth融合 · RGB+点云融合 · 触觉+视觉 (GelSight)
多模态
融合
20
动态抓取与运动预测
运动跟踪 (SORT/DeepSORT) · 抓取时间预测 · 动态抓取策略
动态
跟踪
21
堆叠场景抓取
场景分割 · 实例分离 · 遮挡处理 · 分层抓取规划
堆叠
遮挡
22
灵巧手抓取
灵巧手运动学 · 抓取构型 · 视觉规划 · 欠驱动手抓取
灵巧手
欠驱动
23
抓取鲁棒性分析
成功率评估 · 不确定性建模 · 鲁棒抓取优化
鲁棒性
评估
24
模型部署与加速
量化 (INT8/FP16) · TensorRT · ONNX · 边缘端 (Jetson)
部署
加速
25
ROS集成实战
Topic/Service/Action · 相机驱动 · 抓取节点设计与通信
ROS
集成
26
项目实战一：RGB-D平面抓取
从感知到执行全流程 · 平面抓取
实战
RGB-D
27
项目实战二：6-DoF工业分拣
基于点云的6-DoF抓取 · 工业零件分拣
实战
6-DoF
28
项目实战三：动态传送带抓取
物流拆垛场景 · 动态抓取
实战
传送带
29
前沿进展与趋势
大模型 (RT-2) · 语言指令抓取 · 具身智能
前沿
大模型
30
课程总结与展望
核心回顾 · 常见问题 · 学习路径 · 行业趋势
总结
展望