01
传感器融合概述
定义、发展历程、应用领域(自动驾驶、机器人、IoT)
基础导论
02
传感器基础与分类
惯性传感器(IMU)、视觉、激光雷达、毫米波雷达、超声波
IMULiDAR摄像头
03
坐标系统与空间变换
世界坐标系、传感器坐标系、刚体变换、欧拉角与四元数
坐标系四元数
04
时间同步机制
硬件同步 vs 软件同步、时间戳对齐、PTP协议基础
同步PTP
05
传感器标定
内参标定、外参标定、手眼标定、多传感器联合标定
标定内外参
06
数据预处理
滤波去噪(高斯、中值)、异常值剔除、数据归一化
滤波归一化
07
状态估计基础
贝叶斯滤波、卡尔曼滤波(KF)、扩展卡尔曼滤波(EKF)
KFEKF
08
粒子滤波
原理、重要性采样、重采样、在融合中的应用
粒子滤波重采样
09
多传感器融合架构
集中式、分布式、混合式融合架构对比
架构分布式
10
融合层级
数据级融合、特征级融合、决策级融合
层级决策
11
加权平均融合法
原理、权重确定方法、适用场景
加权平均
12
协方差交叉融合
原理、数学推导、在异构传感器中的应用
协方差异构
13
联邦卡尔曼滤波
结构、信息分配因子、容错性分析
联邦容错
14
无迹卡尔曼滤波(UKF)
UT变换、Sigma点选取、与EKF对比
UKFUT变换
15
信息滤波
信息形式、信息融合、与卡尔曼滤波的对偶性
信息滤波对偶
16
视觉-惯性融合(VIO)
基本原理、预积分、滑动窗口优化
VIO预积分
17
激光-视觉融合
点云投影、特征关联、深度融合策略
LiDAR+视觉点云
18
雷达-视觉融合
目标检测、ROI生成、置信度融合
雷达ROI
19
GPS-IMU融合
松耦合、紧耦合、深耦合架构
GPSIMU耦合
20
多传感器SLAM
图优化、回环检测、全局一致性
SLAM回环
21
传感器故障检测与隔离
残差分析、卡方检验、一致性检验
故障卡方
22
不确定性建模
高斯分布、混合高斯、非参数模型
不确定性高斯
23
深度学习在融合中的应用
端到端融合、注意力机制、多模态学习
深度学习多模态
24
图神经网络与融合
图结构建模、消息传递、关系推理
GNN消息传递
25
融合系统的评价指标
RMSE、一致性、鲁棒性、实时性
评价RMSE
26
实时融合系统设计
嵌入式平台选型、计算资源优化、流水线设计
实时嵌入式
27
ROS2与传感器融合
ROS2架构、TF树、消息同步、融合节点设计
ROS2TF
28
开源融合框架
Apollo、Autoware、OpenVINS、MSCKF解析
ApolloAutoware
29
案例实战:自动驾驶多传感器融合定位
多传感器融合定位系统设计
实战自动驾驶
30
案例实战:服务机器人室内外无缝导航
服务机器人室内外无缝导航融合方案
实战机器人