📡 摄像头与雷达目标级融合
算法设计 · 30章
🎯
友好 · 明快色系
01
课程导论
传感器融合概述
互补特性
目标级融合
→
02
坐标系基础
世界/相机/图像/像素
刚体变换
→
03
传感器标定
张正友法
联合标定
标定板
→
04
雷达工作原理
毫米波
多普勒
点云生成
→
05
摄像头工作原理
单目/双目
YOLO/SSD
视觉特性
→
06
数据预处理
点云滤波
去畸变
时间戳对齐
→
07
目标检测与跟踪
2D检测
雷达聚类
卡尔曼滤波
→
08
目标级融合架构
前/后融合
输入输出定义
→
09
数据关联算法
NN/GNN
JPDA
匈牙利算法
→
10
状态估计基础
贝叶斯滤波
EKF/UKF
→
11
融合中坐标系对齐
雷达→相机
反投影
误差分析
→
12
时间同步机制
硬件/软件同步
插值与外推
→
13
空间同步机制
外参精度
重投影误差
投影验证
→
14
目标级融合核心算法
加权平均
协方差交叉
信息滤波
→
15
不确定性建模
雷达/视觉不确定性
置信度传播
→
16
目标属性融合
类别/尺寸/速度融合
投票机制
→
17
轨迹管理
起始/维持/消亡
ID管理
→
18
多目标跟踪
JPDA实现
MHT
性能评估
→
19
传感器失效处理
降级模式
置信度衰减
冗余设计
→
20
融合系统评估指标
MOTA/MOTP
ID Switch
延迟
→
21
数据集与仿真
KITTI/nuScenes
CARLA
标注格式
→
22
工程实现框架
ROS2
C++/Python
实时性优化
→
23
代码实战：数据读取与可视化
ROS Bag
KITTI格式
点云/图像
→
24
代码实战：标定投影
加载标定
点云→图像
→
25
代码实战：聚类与检测
DBSCAN
YOLO检测
→
26
代码实战：关联与跟踪
匈牙利算法
卡尔曼滤波
→
27
代码实战：融合主循环
融合循环
结果可视化
→
28
代码实战：性能评估
评估脚本
指标计算
→
29
进阶话题
CenterFusion
Transformer
BEV感知
→
30
课程总结与展望
发展趋势
部署挑战
学习路径
→