01
课程导论与系统架构
机械手视觉抓取的应用场景、技术栈概览、课程目标与学习路径。
导论架构
02
机械手基础：运动学与动力学简介
常见的机械手类型（SCARA、六轴、协作机器人）、正逆运动学、工作空间与自由度。
运动学自由度
03
视觉系统硬件选型
工业相机、镜头、光源的选型原则与实战经验。
硬件选型
04
相机标定原理与实战
相机成像模型、内参外参、张正友标定法、使用OpenCV进行标定。
标定OpenCV
05
手眼标定（Eye-in-Hand vs Eye-to-Hand）
标定原理、Tsai法与Navy法、使用easy_handeye进行标定。
手眼标定Tsai
06
图像预处理实战
灰度化、滤波去噪（高斯、中值）、直方图均衡化、形态学操作。
预处理滤波
07
图像分割与特征提取
阈值分割、边缘检测（Canny）、轮廓查找与筛选、Blob分析。
分割Canny
08
目标检测与识别（传统方法）
模板匹配、特征点匹配（SIFT/SURF/ORB）、形状匹配。
传统视觉SIFT
09
目标检测与识别（深度学习方法）
基于YOLO的物体检测实战、数据集制作与模型训练。
YOLO深度学习
10
2D视觉定位
像素坐标到机器人坐标的转换、旋转角度计算、抓取点生成。
2D定位坐标转换
11
3D视觉基础
点云数据介绍、深度相机（结构光、ToF、双目）原理与选型。
3D视觉深度相机
12
点云预处理实战
点云滤波（直通、体素、统计）、点云降采样、法线估计。
点云滤波
13
点云分割与聚类
平面分割（RANSAC）、欧式聚类、区域生长分割。
分割RANSAC
14
3D目标识别与位姿估计
基于PointNet++的3D识别、ICP点云配准、6D位姿估计。
位姿估计ICP
15
抓取规划基础
抓取构型、力封闭与形封闭、抓取质量评估指标。
抓取规划力封闭
16
抓取姿态生成
基于几何分析的抓取点生成、基于学习的抓取检测（GG-CNN）。
抓取姿态GG-CNN
17
运动规划与轨迹生成
关节空间与笛卡尔空间规划、梯形/S形速度规划、避障基础。
运动规划避障
18
机器人操作系统（ROS）入门
ROS架构、话题/服务/动作通信、常用工具（Rviz、Gazebo）。
ROSRviz
19
ROS与机械手集成
MoveIt!框架介绍、配置SRDF、规划组设置、运动规划API调用。
MoveIt!SRDF
20
ROS与视觉系统集成
ROS图像传输（cv_bridge）、视觉节点编写、服务化视觉定位。
cv_bridge视觉节点
21
视觉伺服控制
基于位置的视觉伺服（PBVS）、基于图像的视觉伺服（IBVS）、混合方法。
视觉伺服PBVS
22
抓取系统通信与同步
多线程编程、状态机设计、视觉与机器人协同工作流。
通信状态机
23
抓取失败检测与恢复策略
力/力矩传感器反馈、视觉重检测、重试逻辑设计。
失败恢复力传感器
24
动态目标抓取
目标跟踪算法（KCF、DeepSORT）、预测抓取、时间同步。
动态抓取DeepSORT
25
柔性物体抓取
布料、线缆等柔性物体的视觉感知与抓取策略。
柔性物体布料
26
抓取系统标定与校准
工具中心点（TCP）标定、用户坐标系标定、精度验证。
TCP标定校准
27
系统集成实战（一）
搭建完整的视觉抓取工作站（硬件连接与软件框架）。
集成工作站
28
系统集成实战（二）
编写主控程序、调试视觉定位与抓取流程。
主控程序调试
29
系统集成实战（三）
性能优化（帧率、精度、稳定性）与现场部署。
性能优化部署
30
课程总结与进阶方向
常见问题复盘、前沿技术展望（强化学习抓取、多模态感知）。
总结前沿