📡 融合视界 · 激光雷达+视觉
🌈 风格 · 30章全彩目录
1
01
课程导论
为什么需要融合？优势互补，课程目标与学习路径
2
02
传感器基础
激光雷达TOF/FMCW，相机针孔模型与畸变
3
03
坐标系统与变换
世界/相机/图像/像素坐标系，刚体变换与齐次坐标
4
04
传感器标定（上）
相机内参标定（张正友），畸变校正
5
05
传感器标定（下）
激光雷达与相机联合标定，外参/目标定/在线标定
6
06
点云预处理
体素/直通/统计滤波，RANSAC地面去除
7
07
图像预处理
去噪、直方图均衡化、增强，ROI提取
8
08
数据同步
时间戳对齐（硬件vs软件），空间对齐投影映射
9
09
投影映射
3D点云→2D图像，深度图生成，稀疏到稠密
10
10
特征提取（点云）
PFH/FPFH/SHOT描述子，ISS/Harris3D关键点
11
11
特征提取（图像）
SIFT/SURF/ORB，深度学习SuperPoint/D2-Net
12
12
特征匹配
KD-Tree最近邻，RANSAC剔除误匹配，ICP精配准
13
13
早期融合方法
直接拼接特征，BEV表示，PointPainting
14
14
中期融合方法
注意力机制特征融合，Transformer应用
15
15
晚期融合方法
决策级融合（投票/加权），NMS与目标关联
16
16
深度估计与补全
RGB深度估计，点云引导深度补全，稀疏卷积
17
17
3D目标检测（上）
PointNet++、VoxelNet、PointPillars
18
18
3D目标检测（下）
MV3D/AVOD/F-PointNet/BEVFusion多模态
19
19
语义分割（点云）
PointNet/++、RandLA-Net，稀疏卷积分割
20
20
语义分割（融合）
2D-3D语义融合，跨模态知识蒸馏
21
21
多目标跟踪
SORT/DeepSORT在融合数据，3D轨迹管理
22
22
可行驶区域检测
BEV语义分割，HD地图生成
23
23
定位与建图SLAM
LOAM/LeGO-LOAM，V-LOAM/LIO-SAM
24
24
传感器失效处理
单模态退化（隧道/雨雾），鲁棒融合策略
25
25
工程化部署
INT8量化、TensorRT、ONNX，嵌入式优化
26
26
数据集与评测
KITTI/nuScenes/Waymo，mAP/ATE/NIS
27
27
实战项目1
Open3D+OpenCV 简易融合可视化工具
28
28
实战项目2
MMDetection3D · BEVFusion模型训练评估
29
29
前沿进展
TransFusion/FUTR3D，Occupancy Network
30
30
课程总结与未来展望
行业趋势，学习资源，职业发展路径