激光雷达与视觉融合感知方案

📚 共计 30 章节

融合感知概述

为什么需要融合？激光雷达与摄像头优缺点，融合层级（数据级、特征级、目标级），课程架构与学习路径。

传感器基础与标定

激光雷达原理（TOF、FMCW），摄像头模型（针孔、畸变），内参标定，联合外参标定（手动/自动）。

标定传感器

点云与图像预处理

点云滤波（体素、统计、半径），图像去畸变与增强，时间戳同步与空间对齐（硬/软触发）。

预处理同步

目标检测基础

2D检测（YOLO、Faster R-CNN），3D检测（PointPillars、VoxelNet），BEV视角检测方法。

数据关联与匹配

匈牙利算法与KM，IoU/GIoU匹配，深度特征外观匹配，卡尔曼滤波在跟踪中的应用。

决策级融合

独立检测后融合（NMS、加权平均），规则融合与投票，置信度评估与不确定性建模。

决策级融合

特征级融合

点云与图像特征对齐（投影映射），多模态特征拼接与注意力，Transformer融合架构（TransFuser、BEVFusion）。

特征级Transformer

数据级融合

原始点云与图像像素对齐，RGB点云生成，多模态数据增强（CutMix、Mix3D）。

数据级增强

BEV感知范式

BEV空间构建（IPM、LSS），BEV特征编码与解码，多任务学习（检测、分割、跟踪）。

时序融合与跟踪

多目标跟踪MOT基础，SORT/DeepSORT，端到端跟踪（FairMOT、CenterTrack）。

语义分割与可行驶区域

点云语义分割（PointNet++、RandLA-Net），图像语义分割（DeepLab、SegFormer），多模态融合。

分割可行驶

深度估计与补全

单目深度估计（MiDaS、DPT），激光雷达引导深度补全，稀疏到稠密重建。

多传感器时空同步

GPS/IMU与激光雷达、相机同步，滑动窗口与插值，硬件触发方案设计。

3D目标检测实战

基于OpenPCDet训练PointPillars，数据准备、配置、训练评估与可视化。

2D+3D联合检测实战

MMDetection3D多模态检测，图像与点云联合推理，性能对比分析。

BEV融合感知实战

BEVFusion框架，数据加载、训练部署，精度与速度权衡。

多目标跟踪实战

DeepSORT融合跟踪，外观特征提取，轨迹管理与生命周期。

可行驶区域检测实战

多模态语义分割，激光雷达与图像联合推理，后处理与边界平滑。

可行驶实战

深度估计与补全实战

KITTI深度补全数据集，稀疏点云引导深度重建，评估与可视化。

模型部署与优化

ONNX/TensorRT转换，量化剪枝，嵌入式平台（Jetson、TDA4）部署经验。

数据集与评测标准

KITTI、nuScenes、Waymo详解，评测指标（mAP、NDS、ATE），标注工具。

数据集评测

工程化与系统架构

感知系统软件架构（ROS2、CyberRT），模块解耦与通信，实时性与可靠性。

故障诊断与安全

传感器故障检测（遮挡、污染、失效），降级策略与冗余，功能安全ISO 26262基础。

前沿技术探索

Occupancy Network，4D毫米波雷达与视觉融合，端到端感知（UniAD、VAD）。

项目实战：园区无人配送车

需求分析、传感器选型、系统设计、算法集成、实车测试。

项目实战：高速辅助驾驶

远距离检测、车道线融合、目标跟踪与预测。

高速辅助驾驶

项目实战：港口自动驾驶

多传感器布局、高精度定位、集装箱检测与对齐。

港口自动驾驶

项目实战：矿区无人驾驶

恶劣环境适应性、多模态融合、路径规划与避障。

矿区无人驾驶

项目实战：室内服务机器人

SLAM与融合感知、动态障碍物检测、人机交互。

服务机器人SLAM

总结与展望

融合感知技术趋势，职业发展路径，学习资源推荐，课程总结与答疑。