01
课程导论与失效场景分析
视觉SLAM失效典型场景:弱纹理、动态物体、光照突变、快速运动;惯导辅助视觉基本原理;课程目标与学习路径。
导论失效分析
02
IMU测量模型与误差分析
加速度计与陀螺仪测量模型,零偏、尺度因子、交轴耦合等误差,Allan方差分析实战。
IMU误差建模
03
IMU预积分理论(上)
预积分的动机与数学推导,离散时间预积分公式,预积分量更新与协方差传递。
预积分理论
04
IMU预积分理论(下)
预积分残差构建,与视觉重投影误差联合优化,预积分在因子图中的应用。
残差因子图
05
视觉-惯性初始化
视觉SfM与IMU对齐,陀螺仪零偏估计,重力方向与尺度恢复,加速度计零偏可观性分析。
初始化对齐
06
多传感器时空标定
相机与IMU外参标定(旋转+平移),时间戳同步与延时估计,Kalibr、MSCKF标定工具使用。
标定外参
07
视觉前端特征处理
特征点提取(ORB、SuperPoint),光流跟踪,特征点质量评估与异常剔除,特征管理策略。
特征光流
08
视觉前端失效检测
基于特征数量的失效判断,运动一致性异常检测,光度一致性失效预警。
失效检测预警
09
纯惯性导航模式
失效触发后的模式切换逻辑,纯惯性递推算法,姿态、速度、位置更新方程。
纯惯性递推
10
纯惯性导航误差累积分析
误差传播方程,零偏对位置漂移的影响,长时间纯惯性导航的局限性。
误差累积漂移
11
零速修正(ZUPT)技术
零速检测算法(加速度方差、角速度能量),零速观测更新,步行/车载场景应用。
ZUPT零速
12
ZARU与非完整性约束(NHC)
ZARU原理与实现,NHC车辆运动约束模型,融合ZUPT/ZARU/NHC滤波器设计。
ZARUNHC
13
视觉重定位触发机制
基于位置不确定度触发,基于地图匹配触发,基于用户指令触发。
重定位触发
14
视觉重定位方法(上)
基于词袋模型回环检测(DBoW2/DBoW3),图像检索与特征匹配,几何验证(PnP+RANSAC)。
回环检测PnP
15
视觉重定位方法(下)
基于局部地图跟踪恢复,全局定位(DenseVLAD、NetVLAD),多假设重定位策略。
全局定位多假设
16
失效恢复中的状态估计器设计
扩展卡尔曼滤波(EKF)框架,无迹卡尔曼滤波(UKF)框架,因子图优化(iSAM2)框架。
EKFiSAM2
17
多传感器融合的失效恢复策略
松耦合 vs 紧耦合,视觉-惯性-轮速计融合,视觉-惯性-GNSS融合。
融合紧耦合
18
基于滑动窗口的失效恢复
滑动窗口大小对恢复精度的影响,边缘化策略,关键帧管理。
滑动窗口边缘化
19
深度学习光流与深度估计辅助恢复
深度学习光流(RAFT、FlowNet)在失效时应用,单目深度估计(MiDaS)辅助重定位。
深度学习光流
20
失效恢复中的异常处理与安全机制
传感器数据异常检测,滤波器发散检测与重置,安全降级策略。
异常处理安全
21
实战:ROS惯导辅助视觉SLAM搭建(上)
ROS基础与消息类型,IMU与相机数据采集与同步,系统节点架构设计。
ROS实战
22
实战:ROS惯导辅助视觉SLAM搭建(下)
核心算法模块集成,参数服务器配置,launch文件编写。
集成launch
23
实战:失效检测与模式切换代码实现
失效检测模块代码,模式切换状态机实现,日志与可视化。
状态机检测
24
实战:纯惯性导航与ZUPT代码实现
IMU递推代码,ZUPT检测与更新代码,误差补偿代码。
ZUPT编码
25
实战:视觉重定位模块集成
回环检测模块集成,PnP求解器调用,重定位结果验证与发布。
重定位PnP
26
实战:失效恢复完整流程调试
数据集回放测试,失效注入与恢复验证,性能指标评估(ATE、RPE)。
调试评估
27
实战:多传感器融合失效恢复系统
轮速计/里程计接入,GNSS接入,融合滤波器实现。
多传感器融合
28
实战:系统性能优化与部署
实时性优化(多线程、SIMD),嵌入式平台部署(Jetson、STM32),功耗与资源管理。
优化部署
29
进阶:基于因子图的失效恢复系统
因子图构建,iSAM2增量优化,与经典滤波方法的对比。
因子图iSAM2
30
课程总结与前沿展望
核心知识点回顾,前沿方向(事件相机、毫米波雷达、端到端学习),推荐资源与论文。
总结前沿