01
课程导论
多旋翼自主降落技术概述、视觉定位技术简介、课程目标与学习路径。
概述定位
02
多旋翼飞行器基础
飞行原理、坐标系定义(机体坐标系、世界坐标系)、姿态表示(欧拉角、四元数)。
坐标系姿态
03
传感器基础
IMU(加速度计、陀螺仪)、气压计、磁力计、GPS/RTK、视觉传感器(单目、双目、深度相机)。
IMU视觉
04
状态估计基础
卡尔曼滤波原理、扩展卡尔曼滤波(EKF)、无迹卡尔曼滤波(UKF)简介。
滤波EKF
05
视觉SLAM基础
特征点法(ORB-SLAM)、直接法(LSD-SLAM、DSO)、半直接法(SVO)。
SLAM特征
06
视觉惯性里程计(VIO)
MSCKF、ROVIO、VINS-Mono原理与对比。
VIO融合
07
ArUco码与AprilTag
标记检测原理、位姿解算、在降落中的应用。
标记位姿
08
降落目标检测
基于颜色、形状的传统方法,基于深度学习的目标检测(YOLO、SSD)。
检测YOLO
09
单目视觉深度估计
PnP问题、单应性矩阵、尺度不确定性。
PnP深度
10
双目视觉深度估计
立体匹配、视差计算、三角测量。
双目视差
11
深度相机(RGB-D)
ToF、结构光原理、点云生成与处理。
RGB-D点云
12
坐标系转换与手眼标定
相机与机体坐标系的外参标定、相机与IMU的联合标定。
标定外参
13
自主降落控制策略
基于视觉伺服(IBVS、PBVS)、基于位置控制、混合控制。
视觉伺服控制
14
降落轨迹规划
多项式轨迹、Minimum Snap轨迹、时间最优轨迹。
轨迹规划
15
降落平台设计
静态平台、移动平台(如无人车)、平台上的视觉标记设计。
平台标记
16
仿真环境搭建
Gazebo + PX4/ArduPilot仿真、AirSim、Carla。
仿真Gazebo
17
ROS基础
话题、服务、动作、参数服务器、launch文件。
ROS通信
18
MAVROS与PX4通信
mavros节点、常用话题(姿态、位置、速度)、offboard模式控制。
MAVROSPX4
19
视觉定位节点开发
图像获取、特征提取、位姿估计、发布TF变换。
视觉TF
20
状态估计融合
视觉位姿与IMU/EKF融合、视觉与GPS融合。
融合EKF
21
降落引导逻辑
搜索阶段、跟踪阶段、下降阶段、触地检测。
引导逻辑
22
抗干扰与鲁棒性
光照变化、动态遮挡、快速运动下的处理策略。
鲁棒抗干扰
23
多无人机协同降落
编队飞行、协同感知、共享地图。
协同编队
24
嵌入式平台部署
NVIDIA Jetson、STM32、树莓派上的视觉算法优化。
嵌入式Jetson
25
实时性优化
多线程、GPU加速、模型量化、轻量化网络。
优化GPU
26
室外环境挑战
强光、风扰、GPS拒止环境下的视觉定位。
室外GPS拒止
27
室内环境挑战
弱纹理、重复纹理、玻璃墙面的处理。
室内纹理
28
系统集成与测试
硬件选型、飞控与机载电脑通信、整机联调。
集成测试
29
故障诊断与安全机制
视觉丢失处理、紧急降落、降落伞触发。
安全故障
30
项目实战
从零搭建一套完整的视觉自主降落系统(需求分析、设计、实现、测试)。
实战系统