感知融合与多传感器标定实战 · 课程目录

传感器基础与坐标系

相机、激光雷达、毫米波雷达、IMU、GPS原理与特性；世界/车辆/传感器/图像/像素坐标系定义与转换。

刚体变换与李群李代数

旋转矩阵/向量/欧拉角/四元数；SO(3)/SE(3)与so(3)/se(3)；指数映射与对数映射。

相机成像模型与标定

针孔模型、畸变模型；张正友标定法原理与实现；相机内参标定实战。

激光雷达原理与标定

TOF/FMCW原理；内参标定(旋转轴/俯仰/水平)；外参标定(与车辆坐标系)。

IMU与GPS基础

加速度计/陀螺仪；伪距/载波相位；IMU内参标定；GPS与IMU松/紧耦合。

多传感器时间同步

硬件同步(PPS/GPRMC)；软件同步(时间戳对齐/插值)；ROS message_filters机制。

多传感器空间同步

外参标定问题建模；手眼标定AX=XB；基于标定物的联合标定方法。

相机与激光雷达联合标定

标定板角点/边缘提取；自然场景互信息对齐；lidar_camera_calibration实战。

多相机联合标定

共视标定板/SFM；鱼眼相机等距/等立体角投影；环视系统标定实战。

雷达与相机联合标定

毫米波雷达点投影到图像；雷达与激光雷达点云配准联合标定。

标定精度评估与验证

重投影误差、点云配准RMSE/MRE；融合点云着色/投影一致性；自动化评估。

感知融合概述

数据级/特征级/目标级融合；前/后/混合融合架构；KF/EKF/UKF经典框架。

卡尔曼滤波基础

状态空间模型；五公式推导；一维/多维实现；Q/R矩阵调参技巧。

扩展卡尔曼滤波

非线性系统线性化(泰勒展开)；EKF算法；CTRV/CTRA运动模型目标跟踪。

无迹卡尔曼滤波

UT变换原理；UKF算法流程；与EKF对比(精度/计算量)；非线性系统优势。

蒙特卡洛方法；重要性采样/重采样；粒子滤波流程；MCL定位应用。

目标检测与跟踪基础

YOLO/Faster R-CNN；SORT/DeepSORT；匈牙利算法与IOU匹配。

激光雷达目标检测与跟踪

体素/直通滤波、RANSAC地面分割；DBSCAN/欧式聚类；3D Kalman滤波跟踪。

视觉目标检测与跟踪

图像去畸变/增强；ONNX/TensorRT部署；特征匹配/光流法跟踪。

毫米波雷达目标检测与跟踪

CFAR检测、多普勒解模糊；雷达聚类跟踪(多径/虚警挑战)。

多传感器目标级融合

时空对齐/属性匹配；加权平均/D-S证据/贝叶斯融合；航迹管理生命周期。

多传感器特征级融合

BEV/图像特征提取；PointPainting/Frustum PointNet；BEVFormer/TransFusion。

多传感器数据级融合

点云投影到图像/反投影；混合增强/CutMix；数据量与计算量挑战。

融合感知中的不确定性估计

传感器噪声/遮挡/动态场景；贝叶斯神经网络/MC Dropout；自适应融合权重。

融合感知系统评估

MOTA/MOTP/ID Switch/Fragmentation；KITTI/nuScenes/Waymo；TrackEval工具。

融合感知系统部署

TensorRT/ONNX Runtime；INT8/FP16量化；流水线异步处理；模块化架构。

融合感知系统调试与故障诊断

标定漂移/时间不同步/传感器故障；日志分析/可视化；降级模式/冗余切换。

融合感知系统安全与可靠性

ISO 26262/ASIL等级；异构传感器/算法冗余；仿真与实车安全验证。

融合感知前沿技术

4D成像雷达/固态激光雷达融合；多模态大模型CLIP/BEV感知；UniAD/VAD端到端。

融合感知项目实战

基于nuScenes数据集搭建融合系统；数据预处理→模型训练→部署全流程；经验分享。