01
课程导论：深度感知与建图概述
扫地机器人、AR/VR应用场景，课程目标与前置知识
概览应用
02
传感器基础
深度相机(结构光/ToF/双目)、IMU、轮式里程计、标定基础
硬件标定
03
ROS环境搭建
ROS Noetic安装、工作空间、Catkin编译、命令行工具
ROS环境
04
ROS通信机制
Topic/Service/Action编程、自定义消息类型
通信实战
05
相机模型与标定
针孔模型、畸变、张正友标定法(棋盘格)
标定棋盘格
06
图像预处理
OpenCV基础、滤波(高斯/双边)、直方图均衡化、金字塔
OpenCV滤波
07
特征点提取与匹配
SIFT/SURF/ORB、暴力匹配/FLANN、RANSAC剔除误匹配
特征匹配
08
对极几何与基础矩阵
对极约束、本质矩阵/基础矩阵、八点法、三角化恢复深度
几何深度
09
PnP与ICP
2D-3D位姿求解(EPnP)、3D-3D(ICP)、BA优化简介
位姿优化
10
光流法
Lucas-Kanade光流、金字塔光流、基于光流的特征跟踪
光流跟踪
11
直接法
光度不变假设、稀疏直接法、半稠密直接法
直接法光度
12
RGB-D SLAM基础
RGB-D模型、点云生成、ICP配准、回环检测初探
RGB-DSLAM
13
ORB-SLAM2框架解析
Tracking/Local Mapping/Loop Closing、地图点与关键帧
ORB架构
14
ORB-SLAM2实战
TUM/KITTI数据集、RealSense D435实时运行、代码调试
实战数据集
15
图优化与g2o
图优化理论、顶点与边、g2o库使用、自定义顶点/边
图优化g2o
16
因子图与iSAM
因子图概念、iSAM增量式优化、与g2o对比
因子图iSAM
17
点云处理基础
PCL库安装、体素/统计滤波、点云配准(ICP变种)
PCL点云
18
点云分割与聚类
平面分割(RANSAC)、欧式聚类、区域生长分割
分割聚类
19
三维重建基础
TSDF模型、Marching Cubes、泊松重建
重建TSDF
20
稠密建图 (RTAB-Map)
RTAB-Map原理、内存管理、图优化与闭环检测
稠密RTAB
21
语义SLAM
语义分割(SegNet/PSPNet)、语义地图、动态物体滤除
语义分割
22
动态环境SLAM
动态特征剔除、深度学习动态检测、静态地图维护
动态鲁棒
23
多传感器融合 (LIO-SAM)
LiDAR-IMU融合、因子图框架、紧耦合/松耦合
融合LIO
24
多传感器融合 (VINS-Mono)
视觉-惯性融合、预积分、边缘化
VINSIMU
25
深度学习深度估计
单目深度估计(MiDaS)、双目、自监督方法
深度学习
26
深度学习特征点
SuperPoint/SuperGlue/D2-Net，与传统方法对比
特征学习
27
NeRF与SLAM
NeRF原理、iNeRF、NeRF-SLAM、显式/隐式表示
NeRF新视角
28
3D Gaussian Splatting
3DGS原理、实时渲染、在SLAM中的应用
3DGS渲染
29
工程化与部署
C++/Python混合编程、ROS2迁移、Jetson部署
工程部署
30
课程总结与展望
技术瓶颈、具身智能/大模型趋势、推荐学习路径
总结未来