01
课程导论与预备知识
视觉引导运动规划概述、应用场景（仓储AGV、协作机器人）、软硬件环境配置（ROS2、OpenCV、Python）
概述环境配置
02
机器人运动学基础
刚体运动描述、齐次变换矩阵、正运动学与逆运动学入门（以2轮差速模型为例）
运动学差速模型
03
传感器与视觉感知基础
相机模型与标定、深度相机（RGB-D）原理、点云数据简介
相机标定RGB-D
04
图像处理与特征提取
图像滤波、边缘检测、特征点提取（ORB/SIFT）、光流法简介
特征点光流
05
视觉里程计 (VO)
基本原理、2D-2D对极几何、PnP求解、关键帧选取策略
对极几何PnP
06
环境建图 (Mapping)
栅格地图构建、占据网格（Occupancy Grid）、OctoMap简介
栅格地图OctoMap
07
路径规划基础
图搜索算法（Dijkstra、A*）、RRT与RRT*算法原理
A*RRT*
08
运动规划中的避障策略
VFH、DWA、TEB算法原理与对比
DWATEB
09
视觉伺服控制
PBVS、IBVS、混合视觉伺服方法
视觉伺服PBVS
10
ROS2导航栈 (Nav2) 实战
Nav2架构、行为树配置、全局与局部规划器集成
Nav2行为树
11
视觉SLAM与规划结合
ORB-SLAM3与Nav2集成、地图复用与重定位
ORB-SLAM3重定位
12
动态障碍物检测与跟踪
YOLOv8目标检测、DeepSORT多目标跟踪、速度估计
YOLOv8DeepSORT
13
时空联合规划
ST图概念、速度规划与路径规划耦合
ST图速度规划
14
模型预测控制 (MPC) 应用
MPC原理、线性/非线性MPC、C++/Python实现
MPC非线性
15
强化学习在避障中的应用
DRL基础（DQN、PPO）、Gym+PyBullet仿真、策略训练
DRLPPO
16
多机器人协同规划
集中式/分布式规划、冲突消解、通信机制
协同冲突消解
17
机械臂运动规划与避障
MoveIt2框架、OMPL规划器、碰撞检测(FCL)、抓取规划
MoveIt2OMPL
18
视觉引导的机械臂抓取
6D姿态估计（PoseCNN、DenseFusion）、GraspNet抓取生成
6D姿态GraspNet
19
移动操作臂规划
基座与手臂联合规划、任务与运动规划 (TAMP)
TAMP联合规划
20
仿真环境搭建与测试
Gazebo/Ignition仿真、场景构建、传感器仿真、算法验证
Gazebo仿真
21
实车/实机部署与调试
硬件选型、驱动配置、实时性优化
部署实时性
22
安全性与可靠性设计
功能安全、故障检测、紧急停止、冗余设计
功能安全冗余
23
性能评估与调优
规划成功率、路径长度、计算耗时、轨迹平滑度评估
评估指标调优
24
案例实战1：仓储AGV
二维码/反光板定位 + 动态避障
AGV二维码
25
案例实战2：服务机器人送物
视觉SLAM建图 + 全局规划 + 行人避让
服务机器人行人避让
26
案例实战3：协作机器人装配
工件识别 + 运动规划 + 力控混合
协作机器人力控
27
案例实战4：无人机视觉避障
深度图 + 局部规划器 + 安全走廊
无人机深度图
28
前沿技术探讨
端到端模仿学习、NeRF规划、VLM引导规划
NeRFVLM
29
课程总结与知识体系
核心算法回顾、常见陷阱、学习路径推荐
总结学习路径
30
综合项目实战
从零搭建视觉引导自主移动机器人（需求→设计→编码→演示）
全流程实战