01
VIO概述
什么是VIO？应用场景(AR/VR、无人机、自动驾驶)。与纯视觉SLAM、纯惯性导航对比。课程大纲。
入门概览
02
数学基础(一)：刚体运动
旋转矩阵、旋转向量、四元数、欧拉角。李群与李代数 SO(3), SE(3)。
数学李代数
03
数学基础(二)：相机模型
针孔相机模型、畸变模型、双目视觉基础。
相机投影
04
数学基础(三)：IMU模型
加速度计与陀螺仪模型、IMU运动积分、预积分前序。
IMU运动学
05
状态估计基础
高斯分布、协方差。卡尔曼滤波KF、扩展卡尔曼EKF及VIO应用。
滤波EKF
06
非线性优化基础
最小二乘、高斯-牛顿法、L-M法。图优化与因子图概念。
优化图优化
07
视觉前端(特征点法)
ORB/SIFT/SURF提取、暴力/FLANN匹配、对极几何与本质矩阵。
特征点匹配
08
视觉前端(光流法)
LK光流、直接法与稀疏直接法。特征点法与光流法对比。
光流直接法
09
IMU预积分(理论)
为什么预积分？离散时间推导、预积分量协方差传递。
预积分理论
10
IMU预积分(实践)
基于ROS/C++实现预积分，与视觉信息对齐。
实践ROS
11
VIO初始化(视觉惯性对齐)
视觉SfM估计位姿、陀螺仪/加速度计偏置、重力估计、尺度恢复。
初始化对齐
12
基于滤波的VIO (MSCKF)
MSCKF原理、状态向量与观测模型、优缺点分析。
MSCKF滤波
13
基于图优化的VIO (VINS-Mono)
系统架构、滑动窗口与边缘化、优化问题构建。
VINS图优化
14
VINS-Mono 前端解读
图像/IMU预处理、特征跟踪与光流、IMU预积分实现。
代码前端
15
VINS-Mono 后端解读
滑动窗口优化器、舒尔补边缘化、重投影误差与IMU残差。
后端边缘化
16
VINS-Mono 回环检测
DBoW2词袋、回环检测与重定位、4自由度位姿图优化。
回环DBoW2
17
VIO标定(一)：相机/外参
张正友标定法、相机-IMU外参标定(旋转+平移)。
标定相机
18
VIO标定(二)：IMU/时间戳
Allan方差分析IMU内参、硬触发与软触发时间同步。
IMU同步
19
实战：EuRoC数据集
EuRoC介绍、VINS-Mono运行、轨迹评估(evo工具)。
数据集评估
20
实战：自定义数据集
搭建采集平台(硬件选型)、录制bag包与格式转换。
硬件bag
21
实战：部署与调优
嵌入式平台(Jetson)部署、参数调优(特征点/IMU噪声)。
部署调优
22
多传感器融合VIO
VIO+GPS、VIO+轮速计、VIO+深度相机融合。
融合GPS
23
VIO鲁棒性提升
动态物体、光照变化、初始化失败处理策略。
鲁棒挑战
24
VIO精度与一致性
全局一致性(位姿图)、局部一致性(滑动窗口)、尺度漂移。
精度漂移
25
前沿：学习型VIO
SuperPoint特征、IONet去噪、端到端DeepVIO。
深度学习SuperPoint
26
前沿：事件相机VIO
事件相机原理、与VIO结合(ESVO)。
事件相机ESVO
27
VIO工程化(一)
代码架构模块化、单元/集成测试、日志与调试工具。
工程测试
28
VIO工程化(二)
实时性优化(SIMD/NEON)、内存管理、多线程生产者-消费者。
优化多线程
29
VIO面试题解析
常见面试题(初始化/预积分/边缘化)、手撕EKF更新/图优化。
面试手撕代码
30
课程总结与展望
VIO技术总结、未来趋势(3D Gaussian Splatting)、学习资源推荐。
总结前沿