多传感器融合 · 30章
🧭 从零搭建
系统课
01
系统概述与课程导学
多传感器融合的定义、应用领域（自动驾驶、机器人、IoT）、课程目标与学习路径。
02
传感器基础与选型
常见传感器（激光雷达、摄像头、IMU、GPS、毫米波雷达）的工作原理与选型考量。
03
坐标系与空间变换
世界坐标系、车身坐标系、传感器坐标系，以及欧拉角、四元数、旋转矩阵的转换。
04
时间同步机制
硬件同步（PPS、GPS时钟）与软件同步（时间戳对齐、插值法），解决多传感器时间不同步问题。
05
空间标定（上）
摄像头内参标定（张正友标定法），畸变校正原理与实现。
06
空间标定（下）
激光雷达与摄像头联合标定，IMU与摄像头标定，外参矩阵求解。
07
数据预处理与滤波
传感器噪声模型、均值滤波、中值滤波、高斯滤波，以及针对点云的体素滤波。
08
卡尔曼滤波基础
状态空间模型、预测与更新步骤，一维卡尔曼滤波的Python实现。
09
扩展卡尔曼滤波（EKF）
非线性系统的线性化处理，EKF在IMU/GPS融合中的应用。
10
无迹卡尔曼滤波（UKF）
UT变换原理，UKF与EKF的对比，在目标跟踪中的实践。
11
粒子滤波
蒙特卡洛方法、重要性采样、重采样，粒子滤波在机器人定位中的应用。
12
多传感器融合架构
松耦合与紧耦合架构对比，集中式与分布式融合策略。
13
基于滤波的融合实践
使用EKF融合IMU+GPS数据，实现车辆状态估计（位置、速度、姿态）。
14
基于图优化的融合（上）
图优化基础（节点、边、误差函数），g2o库入门。
15
基于图优化的融合（下）
构建多传感器因子图，融合激光雷达与IMU的SLAM系统。
16
激光雷达SLAM
LOAM框架解析，前端特征提取（角点、平面点），后端位姿优化。
17
视觉SLAM
ORB-SLAM3框架解析，单目/双目/RGB-D的融合策略。
18
视觉-惯性融合（VIO）
VINS-Mono框架，IMU预积分与视觉重投影误差的联合优化。
19
激光-惯性融合（LIO）
LIO-SAM框架，激光雷达与IMU的紧耦合方案。
20
多传感器标定工具
使用Kalibr进行多相机与IMU标定，使用LiDAR_IMU_Calib进行激光-惯导标定。
21
ROS2基础与通信
ROS2节点、话题、服务、动作，以及多传感器数据在ROS2中的发布与订阅。
22
数据录制与回放
使用ros2bag录制多传感器数据，离线调试与回放分析。
23
传感器驱动开发
编写激光雷达、摄像头、IMU的ROS2驱动，实现数据标准化输出。
24
融合系统框架搭建
基于ROS2搭建松耦合融合系统，实现传感器数据流管理。
25
评估与调试
融合轨迹评估（ATE、RPE），使用EVO工具进行精度分析。
26
实战项目1：无人机高度融合
基于EKF的无人机高度融合（气压计+IMU+GPS），实现稳定高度估计。
27
实战项目2：机器人室内定位
基于图优化的机器人室内定位（激光雷达+IMU+轮式里程计）。
28
实战项目3：自动驾驶融合
摄像头+激光雷达+毫米波雷达的目标检测与跟踪。
29
性能优化与部署
C++加速、SIMD指令集、嵌入式平台（Jetson、STM32）的部署技巧。
30
课程总结与进阶之路
常见面试题解析、开源项目推荐（FAST-LIO、MSCKF）、未来趋势（4D成像雷达、事件相机）。