01
视觉伺服基础
什么是视觉伺服、系统组成、开环与闭环控制、眼在手与眼固定构型
入门构型
02
相机模型与标定
针孔相机模型、内参与外参矩阵、畸变模型、张正友标定法
标定几何
03
图像特征提取
角点检测(Harris/Shi-Tomasi)、SIFT、ORB、特征描述子
特征CV
04
特征匹配与跟踪
暴力匹配与FLANN、RANSAC剔除误匹配、光流法跟踪(LK)
匹配光流
05
位姿估计基础
PnP问题、EPnP算法、最小二乘优化、李群与李代数
位姿优化
06
视觉伺服控制律
PBVS、IBVS、混合视觉伺服(2.5D VS)
控制律核心
07
图像雅可比矩阵
定义、推导过程、深度估计、奇异值分析
矩阵数学
08
IBVS控制律设计
特征误差定义、控制律推导、增益矩阵、稳定性分析
IBVS设计
09
PBVS控制律设计
3D位姿估计、笛卡尔空间控制律、与IBVS对比
PBVS对比
10
2.5D视觉伺服
基本原理、极几何约束、单应矩阵分解、混合控制
2.5D混合
11
视觉伺服稳定性分析
Lyapunov理论、IBVS局部稳定性、PBVS全局稳定性
稳定性理论
12
视觉伺服鲁棒性
标定误差影响、图像噪声处理、延迟补偿方法
鲁棒噪声
13
视觉伺服与运动规划
轨迹生成、避障策略、与路径规划结合
规划避障
14
多视觉传感器融合
双目视觉伺服、多相机协同、深度相机(RGB-D)
融合深度
15
机械臂视觉伺服
Eye-in-Hand、Eye-to-Hand、手眼标定
机械臂手眼
16
移动机器人视觉伺服
视觉里程计、视觉SLAM、视觉伺服导航
移动机器人SLAM
17
无人机视觉伺服
悬停控制、目标跟踪、自主降落
无人机自主
18
医疗机器人视觉伺服
手术导航、显微操作、内窥镜视觉伺服
医疗精密
19
工业自动化视觉伺服
装配、焊接、分拣、质量检测
工业自动化
20
深度学习与视觉伺服
CNN特征提取、端到端视觉伺服、强化学习
深度学习端到端
21
视觉伺服系统实现
硬件选型(相机/镜头/光源)、实时性、软件架构
系统硬件
22
视觉伺服仿真环境
CoppeliaSim(V-REP)、ROS+Gazebo、MATLAB仿真
仿真ROS
23
视觉伺服性能评估
精度指标、速度指标、鲁棒性指标、实验设计
评估指标
24
视觉伺服前沿技术
事件相机、预测视觉伺服、学习型视觉伺服
前沿事件相机
25
优化方法在视觉伺服
非线性优化、图优化、模型预测控制(MPC)
优化MPC
26
滤波技术在视觉伺服
卡尔曼滤波、EKF、粒子滤波在状态估计中的应用
滤波估计
27
视觉伺服中的力控制
视觉-力混合控制、阻抗控制、柔顺控制
力控阻抗
28
多目标处理策略
多目标跟踪、目标切换、遮挡处理
多目标遮挡
29
系统调试与部署
参数整定、性能调优、实际部署注意事项
调试部署
30
综合项目实战
机械臂抓取、无人机跟踪、移动机器人视觉导航
实战项目