激光雷达与视觉融合导航
📚 共计 30 章节
第01章
课程导论
激光雷达与视觉融合的背景、应用场景（自动驾驶、机器人）、课程目标与学习路径。
入门
概览
第02章
传感器基础（上）
激光雷达工作原理（ToF、FMCW）、点云数据格式、主流LiDAR产品介绍。
LiDAR
硬件
第03章
传感器基础（下）
视觉传感器工作原理（单目、双目、RGB-D）、相机模型与标定、图像与点云的时空对齐。
相机
标定
第04章
坐标系与变换
世界坐标系、车体坐标系、传感器坐标系、刚体变换与欧拉角、四元数。
数学
基础
第05章
点云预处理
体素滤波、直通滤波、统计滤波、半径滤波。
滤波
点云
第06章
图像预处理
图像去畸变、直方图均衡化、高斯滤波、Canny边缘检测。
图像
边缘
第07章
特征提取（点云）
点云法线估计、PFH/FPFH特征、点云配准（ICP、NDT）。
配准
特征
第08章
特征提取（图像）
SIFT、SURF、ORB特征点提取与匹配。
特征点
匹配
第09章
传感器标定（上）
相机内参标定（张正友法）、LiDAR内参标定。
标定
内参
第10章
传感器标定（下）
LiDAR与相机联合标定（外参标定）、标定工具与实战。
外参
联合标定
第11章
多传感器时空同步
硬件同步方案（GPS PPS、PTP）、软件同步方案、时间戳对齐。
同步
时间
第12章
融合感知（目标检测）
基于图像的目标检测（YOLO）、基于点云的目标检测（PointPillars）、融合检测策略。
检测
YOLO
第13章
融合感知（语义分割）
图像语义分割（DeepLab）、点云语义分割（PointNet++）、BEV视角下的融合分割。
分割
BEV
第14章
融合感知（深度估计）
单目深度估计、双目深度估计、LiDAR引导的深度补全。
深度
补全
第15章
SLAM基础
SLAM问题定义、滤波器方法（EKF）、图优化方法（g2o、GTSAM）。
SLAM
图优化
第16章
视觉SLAM
ORB-SLAM3原理与架构、关键帧、回环检测。
ORB
回环
第17章
激光SLAM
LOAM原理、LeGO-LOAM、Cartographer。
LOAM
Carto
第18章
LiDAR-视觉融合SLAM（上）
V-LOAM、LVI-SAM架构解析。
融合
LVI
第19章
LiDAR-视觉融合SLAM（下）
R3LIVE、FAST-LIO2与视觉的紧耦合。
紧耦合
LIO
第20章
多传感器融合定位
基于图优化的融合定位、IMU预积分、因子图融合。
因子图
IMU
第21章
BEV感知
BEV视角的优势、LSS方案、Transformer在BEV中的应用。
BEV
Transformer
第22章
占据网络（Occupancy Network）
从点云到占据网格、OccFormer、特斯拉Occupancy Network。
占据
Occ
第23章
端到端自动驾驶
UniAD架构、感知-预测-规划一体化。
端到端
UniAD
第24章
数据集与评测
KITTI、nuScenes、Waymo Open Dataset、评测指标（mAP、NDS）。
数据集
评测
第25章
模型部署（上）
ONNX导出、TensorRT加速、量化与剪枝。
部署
TensorRT
第26章
模型部署（下）
嵌入式平台部署（NVIDIA Jetson、地平线征程）、ROS2集成。
Jetson
ROS2
第27章
工程实践（上）
ROS2基础、节点通信、Bag包录制与回放。
ROS2
Bag
第28章
工程实践（下）
基于ROS2的融合导航系统搭建、多进程管理。
系统
多进程
第29章
实战项目（一）
基于KITTI的LiDAR-视觉融合目标检测。
KITTI
实战
第30章
实战项目（二）
基于nuScenes的BEV融合感知与路径规划。
nuScenes
BEV