01
VIO概述与课程导学
什么是VIO？为什么需要VIO？AR/VR、无人机、自动驾驶应用场景。课程大纲与学习路径。
导学应用
02
数学基础回顾（一）
三维空间刚体运动、旋转矩阵、旋转向量、欧拉角、四元数。李群与李代数基础。
李群四元数
03
数学基础回顾（二）
非线性优化基础（高斯牛顿法、LM算法）、状态估计问题、最小二乘与马氏距离。
优化LM
04
相机模型与投影几何
针孔相机模型、畸变模型、双目视觉模型、单应矩阵与本质矩阵。
相机投影
05
视觉前端（一）
特征点法（FAST、ORB、SIFT）、特征匹配（暴力匹配、FLANN）、光流法（LK光流）。
特征光流
06
视觉前端（二）
特征点法与光流法对比、如何选择？工程坑点：光照变化、运动模糊。
对比工程
07
IMU传感器与测量模型
IMU工作原理、加速度计与陀螺仪模型、IMU噪声特性（Allan方差分析）。
IMUAllan
08
IMU预积分（一）
为什么需要预积分？连续时间IMU运动学、离散时间预积分公式推导。
预积分推导
09
IMU预积分（二）
预积分量更新、协方差传递、雅可比矩阵计算。代码实现细节。
协方差代码
10
视觉惯性初始化（一）
松耦合初始化方法、视觉SFM与IMU陀螺仪偏置估计。
初始化SFM
11
视觉惯性初始化（二）
加速度计偏置估计、重力方向与尺度恢复、初始化鲁棒性提升技巧。
重力鲁棒
12
滑动窗口与边缘化
滑动窗口优化框架、舒尔补与边缘化原理、FEJ（First Estimate Jacobians）策略。
边缘化FEJ
13
VIO后端优化（一）
基于滑动窗口的BA优化、残差构建（视觉重投影残差+IMU预积分残差）。
BA残差
14
VIO后端优化（二）
信息矩阵与Hessian矩阵结构、边缘化对Hessian影响、求解器选择（Ceres/Sophus）。
HessianCeres
15
VIO系统架构与代码解读（一）
以VINS-Mono为例，系统整体框架、代码目录结构、数据流分析。
VINS架构
16
VIO系统架构与代码解读（二）
前端处理线程（特征提取、光流跟踪）、IMU数据处理线程。
线程前端
17
VIO系统架构与代码解读（三）
后端优化线程（滑动窗口管理、残差构建、求解）、全局优化与回环检测。
后端回环
18
回环检测与重定位
词袋模型（DBoW2/DBoW3）、回环检测流程、位姿图优化、重定位策略。
回环DBoW
19
VIO与GPS融合
松耦合与紧耦合融合方式、坐标系对齐、时间同步问题。
GPS融合
20
多传感器时空标定
相机-IMU外参标定（Kalibr）、时间戳同步与延时估计、在线标定方法。
标定Kalibr
21
VIO在嵌入式平台上的部署
ARM平台优化（NEON指令集）、内存管理、实时性保障策略。
嵌入式NEON
22
VIO在无人机上的应用
PX4与VIO集成、EKF融合框架、实际飞行中的问题与调试。
无人机PX4
23
VIO在AR/VR上的应用
手机端VIO实现（ARCore/ARKit原理）、低延迟要求下的优化。
AR/VR低延迟
24
VIO在自动驾驶上的应用
多相机VIO、与轮速计融合、城市道路场景下的挑战。
自动驾驶多相机
25
VIO算法评估与调试
EuRoC数据集评测、轨迹评估工具（evo）、参数调优经验。
评测evo
26
VIO常见问题与解决方案
初始化失败、尺度漂移、IMU饱和、长时间运行发散。
排坑发散
27
深度学习与VIO的结合
深度学习特征点（SuperPoint）、深度学习VO（DroidSLAM）、端到端VIO。
深度学习SuperPoint
28
VIO前沿方向
事件相机VIO、语义VIO、基于学习的IMU去噪。
事件相机语义
29
从零搭建一个简易VIO系统
基于Python的VIO原型实现（简化版）、理解核心流程。
Python原型
30
课程总结与工程落地建议
VIO系统选型建议、工程化注意事项、学习资源推荐与职业发展路径。
总结职业