视觉SLAM与激光雷达融合建图实战
📚 共计 30 章节
01
课程导论与预备知识
什么是视觉SLAM与激光雷达融合？为什么需要融合？课程目标与学习路径。
导论
预备
02
传感器基础与标定
相机模型与内参标定、激光雷达原理与外参标定、相机-激光雷达联合标定。
标定
传感器
03
3D空间刚体运动
旋转矩阵、四元数、欧拉角、李群与李代数基础。
数学
刚体运动
04
视觉SLAM基础
特征点法（ORB特征）、对极几何、PnP、ICP。
视觉
特征点
05
激光SLAM基础
ICP及其变体（Point-to-Plane, NDT）、栅格地图与概率模型。
激光
配准
06
多传感器融合理论
卡尔曼滤波（KF）、扩展卡尔曼滤波（EKF）、无迹卡尔曼滤波（UKF）。
滤波
融合
07
图优化与因子图
图优化基础、g2o与Ceres库、因子图与iSAM2。
优化
因子图
08
视觉-激光雷达松耦合融合
基于EKF的松耦合框架、时间戳同步与数据对齐。
松耦合
EKF
09
视觉-激光雷达紧耦合融合
基于图优化的紧耦合框架、共同优化视觉重投影误差与激光雷达点到模型距离。
紧耦合
图优化
10
视觉惯性里程计（VIO）基础
IMU预积分、VINS-Mono框架简介。
VIO
IMU
11
激光雷达惯性里程计（LIO）基础
LIO-SAM框架简介、IMU与激光雷达的紧耦合。
LIO
LIO-SAM
12
视觉-激光雷达-惯性融合（VLIO）
R3LIVE框架解析、RGB与点云的实时渲染。
VLIO
R3LIVE
13
点云处理基础
PCL库入门、点云滤波（体素滤波、统计滤波）、点云配准。
PCL
点云
14
特征提取与匹配
2D-3D特征匹配、基于学习的特征（SuperPoint, SuperGlue）。
特征
深度学习
15
回环检测与全局优化
视觉词袋模型（DBoW2/3）、激光雷达Scan Context、位姿图优化。
回环
优化
16
建图技术
稀疏地图、半稠密地图、稠密地图（TSDF, OctoMap）、语义地图。
建图
稠密
17
动态环境处理
动态物体检测与去除、基于语义的动态SLAM。
动态
语义
18
多机器人协同SLAM
分布式与集中式架构、地图融合与交换。
多机器人
协同
19
基于深度学习的端到端SLAM
DeepVO、DroidSLAM、激光雷达与视觉的深度特征融合。
深度学习
端到端
20
开源框架实战（一）
基于ROS的相机与激光雷达数据采集与标定。
ROS
实战
21
开源框架实战（二）
运行与调试LIO-SAM。
LIO-SAM
调试
22
开源框架实战（三）
运行与调试VINS-Fusion。
VINS-Fusion
实战
23
开源框架实战（四）
运行与调试R3LIVE。
R3LIVE
实战
24
开源框架实战（五）
运行与调试FAST-LIO2。
FAST-LIO2
实战
25
性能评估与调优
EVO工具使用、ATE/RPE指标、参数调优策略。
评估
调优
26
嵌入式平台部署
NVIDIA Jetson与ARM架构的移植与优化。
嵌入式
Jetson
27
工业应用案例（一）
自动驾驶中的高精地图构建。
自动驾驶
高精地图
28
工业应用案例（二）
仓储AGV的定位与导航。
AGV
仓储
29
工业应用案例（三）
无人机自主飞行与建图。
无人机
自主飞行
30
课程总结与前沿展望
NeRF与3D Gaussian Splatting在SLAM中的应用、未来趋势。
前沿
NeRF