🚗 传感器融合 · 工程实战
📚 30章 从入门到部署
01
传感器融合概述
自动驾驶分级 · 融合定义 · 前/后融合架构 · 工程化挑战
基础
架构
02
坐标系与时空同步
车辆/传感器坐标系 · 变换矩阵 · 时间戳对齐 · 硬件触发
时空
同步
03
传感器特性与选型
摄像头·激光雷达·毫米波·超声波·IMU/GNSS 对比与选型
硬件
选型
04
数据预处理与滤波
点云滤波 · 图像去畸变 · CFAR检测 · 信号平滑
滤波
预处理
05
标定技术基础
内参/外参标定 · 联合标定 · 在线/离线 · 标定场设计
标定
内外参
06
目标检测与识别
2D/3D检测 · YOLO · PointPillars · CenterPoint
检测
深度学习
07
多目标跟踪
卡尔曼滤波 · 匈牙利匹配 · SORT/DeepSORT · AB3DMOT
跟踪
MOT
08
关联与匹配算法
最近邻 · 全局最近邻 · JPDA · 多假设跟踪
关联
匹配
09
状态估计基础
贝叶斯滤波 · KF推导 · EKF · 无迹卡尔曼滤波
估计
贝叶斯
10
融合策略
前融合(特征级) · 后融合(目标级) · 混合融合 · 决策级
融合
策略
11
基于卡尔曼滤波的融合
EKF融合IMU+GPS · LiDAR+Radar · 协方差估计
EKF
组合导航
12
基于图优化的融合
因子图 · iSAM2 · g2o · 位姿图优化 · 滑动窗口
图优化
SLAM
13
多传感器时空对齐
插值(线性/样条) · 时间延迟估计 · 动态时间规整
对齐
插值
14
不确定性建模
传感器噪声模型 · 协方差传播 · 置信度 · 鲁棒估计
不确定性
鲁棒
15
场景理解与语义融合
BEV感知 · Transformer融合 · 多模态语义分割
BEV
语义
16
融合系统架构设计
模块化 · 数据流 · 接口规范 · ROS2 / CyberRT
架构
中间件
17
实时性与性能优化
延迟分析 · 计算图优化 · GPU加速 · TensorRT · 量化
性能
部署
18
功能安全与冗余设计
ISO 26262 · ASIL · 安全机制 · 降级策略 · 故障检测
安全
冗余
19
仿真与数据集
CARLA · SUMO · nuScenes · KITTI · Waymo · 数据增强
仿真
数据集
20
V2X融合
V2V/V2I · 路侧感知融合 · 协同感知 · MEC边缘计算
V2X
车联网
21
定位与建图融合
LIO-SAM · LVI-SAM · 多传感器融合SLAM · 先验地图
SLAM
定位
22
预测与规划融合
轨迹预测 · 交互式预测 · 行为规划 · 运动规划融合
预测
规划
23
工程化测试与验证
MIL/SIL/HIL/DIL · 回放测试 · 场景库 · 回归测试
测试
验证
24
代码工程实践
C++/Python混合编程 · 数据结构 · 内存管理 · 日志
工程
代码
25
部署与运维
Docker · OTA升级 · 远程诊断 · 数据回传 · 监控告警
运维
部署
26
融合算法评估指标
MOTA · MOTP · ATE · RPE · 精度-召回率 · 延迟-吞吐量
指标
评估
27
案例实战
高速NOA融合 · 城区领航融合 · 泊车融合方案
实战
NOA
28
前沿趋势
端到端融合 · 大模型 · 4D成像雷达 · 固态激光雷达
前沿
趋势
29
开源框架解读
Apollo · Autoware · OpenPilot · MMDetection3D · Open3D
开源
框架
30
综合项目实战
从零搭建多传感器融合感知系统 · 需求·架构·编码·测试
项目
全栈