01
课程导论
传感器标定与融合的意义、应用场景(自动驾驶、机器人)、课程整体框架与学习路径。
概览入门
02
传感器基础
常见传感器(IMU、相机、激光雷达、编码器)的工作原理与输出特性。
IMU相机LiDAR
03
坐标系与变换
世界坐标系、机体坐标系、传感器坐标系,欧拉角与四元数基础。
坐标四元数
04
标定基础
什么是标定?内参、外参、畸变参数的基本概念。
内参外参
05
相机标定(上)
针孔相机模型、张正友标定法原理、棋盘格制作与采集。
棋盘格张正友
06
相机标定(下)
使用OpenCV进行相机标定实战、重投影误差分析。
OpenCV实战
07
IMU标定
加速度计与陀螺仪的误差模型、六面法标定、Allan方差分析。
Allan六面法
08
激光雷达标定
激光雷达工作原理、点云畸变矫正、内参标定方法。
点云畸变
09
手眼标定
眼在手上(Eye-in-Hand)与眼在手外(Eye-to-Hand)的数学模型与求解。
Eye-in-HandEye-to-Hand
10
多传感器时空同步
时间戳对齐、硬件同步方案(PPS、GPS)、软件插值同步。
PPS同步
11
传感器融合基础
状态估计问题、贝叶斯滤波、卡尔曼滤波的直观理解。
贝叶斯KF
12
卡尔曼滤波(KF)
线性系统模型、预测与更新步骤、完整推导与代码实现。
KF线性
13
扩展卡尔曼滤波(EKF)
非线性系统线性化、雅可比矩阵计算、EKF融合IMU+编码器。
EKF雅可比
14
无迹卡尔曼滤波(UKF)
UT变换、Sigma点选取、UKF与EKF对比。
UKFUT
15
粒子滤波(PF)
蒙特卡洛方法、重要性采样、重采样、在定位中的应用。
PF蒙特卡洛
16
IMU+GPS融合
松耦合与紧耦合架构、基于EKF的GPS/INS组合导航。
GPSINS
17
视觉惯性里程计(VIO)
VINS-Mono框架简介、IMU预积分、视觉与IMU紧耦合。
VIOVINS
18
激光惯性里程计(LIO)
LIO-SAM框架简介、点云特征提取、因子图优化。
LIO因子图
19
多传感器融合定位
激光雷达+IMU+GPS+轮速计的多源融合方案。
多源融合
20
标定工具与库
Kalibr、CamOdoCal、LiDAR_IMU_Calib等开源工具的使用。
Kalibr工具
21
误差分析与评估
标定结果的评价指标(重投影误差、相对误差)、残差分析。
误差评估
22
实战:单目相机标定
使用Python+OpenCV从图像采集到参数输出。
Python实战
23
实战:IMU+相机联合标定
使用Kalibr工具链。
Kalibr联合标定
24
实战:激光雷达与相机联合标定
提取边缘特征、PnP求解。
PnPLiDAR+相机
25
实战:基于EKF的IMU+GPS融合定位
Python实现。
EKFGPS
26
实战:基于图优化的激光雷达+IMU建图
使用GTSAM/Ceres。
图优化GTSAM
27
实战:搭建低成本多传感器标定平台
硬件选型与固定方案。
硬件平台
28
实战:标定数据采集规范与自动化脚本
自动化脚本编写。
自动化脚本
29
实战:融合系统在ROS2中的部署与调试
ROS2部署与调试。
ROS2部署
30
课程总结与进阶方向
标定与融合的常见坑点、工业界与学术界前沿动态。
总结前沿