IMU与视觉融合定位实战

📚 共计 30 章节
01
课程导论:IMU与视觉融合定位概述
应用场景、课程目标与学习路径
概览入门
02
IMU基础:加速度计与陀螺仪
工作原理、IMU测量模型与误差分析
传感器惯性
03
视觉基础:针孔相机模型
畸变模型、相机标定原理
相机标定
04
坐标系与刚体运动
世界/相机/IMU坐标系、旋转矩阵、四元数、李群李代数
数学坐标系
05
IMU预积分理论
连续/离散时间预积分、更新与协方差传递
预积分IMU
06
视觉特征提取与匹配
ORB、SIFT特征、匹配与误匹配剔除
特征匹配
07
视觉里程计
2D-2D对极几何、3D-2D PnP、3D-3D ICP
里程计几何
08
滑动窗口与边缘化
滑动窗口优化、舒尔补边缘化、信息矩阵维护
优化边缘化
09
非线性优化基础
高斯牛顿法、LM算法、Ceres Solver入门
优化Ceres
10
因子图与iSAM2
因子图建模、贝叶斯网络、iSAM2增量式优化
因子图iSAM2
11
VINS-Mono系统架构
系统整体框架、前端视觉处理、后端非线性优化
VINS架构
12
VINS-Mono初始化
视觉SfM、IMU陀螺仪偏置标定、重力对齐与尺度恢复
初始化VINS
13
VINS-Mono后端优化
滑动窗口优化、IMU残差、视觉残差、边缘化策略
后端优化
14
VINS-Mono重定位与闭环检测
DBoW2词袋模型、特征检索、位姿图优化
闭环重定位
15
VINS-Fusion系统
多传感器融合框架、GPS融合、全局优化
融合GPS
16
ORB-SLAM3 IMU模式
系统架构、IMU初始化、混合地图
ORB-SLAM3IMU
17
ORB-SLAM3 IMU初始化
最大后验估计、陀螺仪偏置估计、尺度与重力估计
初始化MAP
18
ORB-SLAM3 视觉惯性跟踪
视觉特征跟踪、IMU预积分跟踪、跟踪丢失恢复
跟踪视觉惯性
19
ORB-SLAM3 局部建图与闭环
局部BA、本质图优化、全局BA
建图闭环
20
多传感器标定
相机-IMU外参标定、时间戳同步、Kalibr使用
标定Kalibr
21
数据集与评估工具
EuRoC、TUM-VI数据集、EVO评估工具
数据集EVO
22
ROS环境搭建
ROS基础、消息通信、bag包录制与回放
ROS环境
23
代码实战:VINS-Mono前端
VINS-Mono代码解读(前端)
代码前端
24
代码实战:VINS-Mono后端
VINS-Mono代码解读(后端)
代码后端
25
代码实战:ORB-SLAM3 IMU模式
ORB-SLAM3 IMU模式代码解读
代码ORB-SLAM3
26
代码实战:Ceres联合优化
基于Ceres的IMU-视觉联合优化实现
Ceres联合优化
27
代码实战:相机-IMU外参标定
相机-IMU外参标定代码实现
标定代码
28
性能调优
参数调优、计算效率优化、鲁棒性提升策略
调优效率
29
工程化部署
嵌入式平台移植、实时性优化、多线程架构
部署嵌入式
30
总结与展望
课程总结、前沿技术趋势、学习资源推荐
总结趋势