01
课程导论：为什么需要视觉SLAM与飞控融合？系统架构全景图与学习路线。
全景图 · 学习路线 · 融合动机
导论架构
02
坐标系与刚体运动：世界坐标系、机体坐标系、相机坐标系，四元数与欧拉角。
坐标变换 · 四元数 · 欧拉角
数学基础坐标系
03
相机模型与标定：针孔相机模型、畸变校正、张正友标定法实战。
针孔模型 · 畸变校正 · 标定实战
相机标定
04
飞控基础：PX4/ArduPilot姿态解算与位置控制环路解析。
姿态解算 · 控制环路 · PX4/ArduPilot
飞控PX4
05
视觉SLAM前端：ORB特征提取、特征匹配与RANSAC剔除误匹配。
ORB · 特征匹配 · RANSAC
前端特征
06
视觉里程计：PnP求解与ICP配准，从2D-2D到3D-3D的位姿估计。
PnP · ICP · 位姿估计
里程计位姿
07
后端优化：图优化理论、g2o/Ceres库入门，BA光束法平差。
图优化 · g2o/Ceres · BA
后端优化
08
回环检测：词袋模型（DBoW3）、Sim3求解与位姿图优化。
词袋模型 · Sim3 · 位姿图
回环DBoW3
09
单目SLAM系统：ORB-SLAM2/3单目模式部署与调参。
ORB-SLAM2/3 · 单目部署 · 调参
单目ORB-SLAM
10
双目与RGB-D SLAM：深度获取原理、双目匹配与点云生成。
深度获取 · 双目匹配 · 点云
双目RGB-D
11
VIO（视觉惯性里程计）：IMU预积分、松耦合与紧耦合融合。
IMU预积分 · 松/紧耦合 · VIO
VIOIMU
12
飞控与视觉的时间同步：硬件触发（PPS/GPIO）与软件软同步方案。
硬件触发 · 软同步 · 时间同步
同步硬件
13
MAVLink协议与uORB通信：视觉数据如何发送给飞控。
MAVLink · uORB · 数据交互
通信协议
14
视觉定位数据注入飞控：修改PX4的EKF2模块接收外部位姿。
EKF2 · 外部位姿 · PX4修改
飞控EKF
15
基于视觉的悬停与定点飞行：将SLAM位姿替换GPS位置环。
视觉悬停 · 定点飞行 · GPS替换
飞行控制视觉
16
视觉避障：深度图转代价地图、局部路径规划（TEB/DWA）。
代价地图 · TEB/DWA · 避障
避障规划
17
自主探索与建图：前沿探索算法、OctoMap与ESDF地图构建。
前沿探索 · OctoMap · ESDF
探索建图
18
仿真环境搭建：Gazebo + PX4 + ORB-SLAM3联合仿真。
Gazebo · PX4 · ORB-SLAM3
仿真联合
19
机载计算机选型与部署：NVIDIA Jetson、树莓派、Intel NUC。
Jetson · 树莓派 · NUC
硬件选型
20
ROS1/ROS2通信框架：节点、话题、服务与Action在无人机中的应用。
ROS1/ROS2 · 节点 · 无人机
ROS通信
21
实时性优化：多线程编程、内存池、NEON/SSE指令集加速。
多线程 · 内存池 · SIMD
优化实时
22
传感器标定：相机-IMU联合标定（Kalibr）、相机-飞控外参标定。
Kalibr · 外参标定 · 联合标定
标定传感器
23
失效保护与异常处理：视觉丢失后的飞控降级策略（Fallback）。
降级策略 · Fallback · 安全
安全失效
24
室外大场景SLAM：GPS辅助视觉SLAM、视觉-惯导-卫星融合。
GPS辅助 · 多传感器融合 · 室外
室外融合
25
多无人机协同SLAM：分布式地图融合与通信拓扑。
分布式 · 地图融合 · 协同
多机协同
26
深度学习与SLAM结合：SuperPoint特征、DroidSLAM端到端里程计。
SuperPoint · DroidSLAM · 端到端
深度学习SLAM
27
嵌入式部署：TensorRT加速、模型量化与ONNX Runtime。
TensorRT · 量化 · ONNX
部署加速
28
实飞测试流程：安全检查清单、数据记录与离线回放分析。
安全检查 · 数据记录 · 回放
测试实飞
29
性能评估指标：ATE/RPE轨迹误差、CPU/内存占用、延迟分析。
ATE/RPE · 资源占用 · 延迟
评估指标
30
综合项目实战：从零搭建一架自主飞行无人机（视觉SLAM + 飞控融合）。
完整项目 · 自主飞行 · 融合实战
实战项目