视觉定位系统从零搭建实战

📚 共计 30 章节
01
视觉定位概述
什么是视觉定位、应用场景(AR/VR、机器人、自动驾驶)、课程整体技术栈与学习路径。
入门全景
02
相机模型与成像原理
针孔相机模型、内参矩阵、畸变模型(径向与切向)、相机标定基础。
几何标定
03
坐标系与空间变换
世界坐标系、相机坐标系、图像坐标系、像素坐标系、刚体变换与齐次坐标。
数学基础
04
特征点提取(上)
Harris角点检测、Shi-Tomasi角点、尺度空间理论。
特征角点
05
特征点提取(下)
SIFT特征原理与实现、SURF特征、ORB特征(FAST+BRIEF)。
局部特征描述子
06
特征匹配
暴力匹配、FLANN匹配、比值测试、交叉验证、RANSAC剔除误匹配。
匹配RANSAC
07
对极几何与基础矩阵
对极约束、本质矩阵、基础矩阵、八点法求解、单应矩阵。
几何多视图
08
PnP问题
2D-3D位姿估计、DLT方法、P3P方法、EPnP、BA优化。
位姿优化
09
三角化
线性三角化、非线性优化三角化、深度估计与不确定性。
深度3D
10
光流法
Lucas-Kanade光流、金字塔光流、直接法与特征点法的对比。
运动跟踪
11
直接法
直接法原理、光度误差、直接法位姿估计、半稠密与稠密直接法。
直接光度
12
视觉里程计(VO)框架
VO系统架构、帧到帧、帧到地图、关键帧策略。
VO框架
13
后端优化(上)
最小二乘问题、高斯牛顿法、列文伯格-马夸尔特法。
优化非线性
14
后端优化(下)
图优化基础、g2o库入门、Ceres库入门、位姿图优化。
图优化
15
回环检测
词袋模型(BoW)、DBoW2/3库、回环校正、位姿图优化。
回环闭环
16
SLAM系统集成
ORB-SLAM2/3架构解析、系统线程(跟踪、建图、回环)。
SLAMORB
17
RGB-D SLAM
深度相机原理(结构光、ToF、双目)、RGB-D SLAM流程、点云拼接。
RGB-D点云
18
惯性融合(VIO)
IMU预积分、紧耦合与松耦合、VINS-Mono系统解析。
VIOIMU
19
多传感器融合
GPS+视觉、激光雷达+视觉、多传感器标定。
融合标定
20
深度学习特征
SuperPoint特征、SuperGlue匹配、D2-Net、R2D2。
深度学习特征
21
深度学习位姿估计
PoseNet、MapNet、相对位姿回归、场景坐标回归。
位姿回归CNN
22
语义SLAM
语义分割与SLAM结合、动态物体剔除、语义地图构建。
语义动态
23
视觉定位在AR中的应用
AR坐标系对齐、平面检测、光照估计、持久化定位。
AR增强现实
24
视觉定位在机器人中的应用
导航与避障、路径规划、自主探索。
机器人导航
25
视觉定位在自动驾驶中的应用
车道线检测、障碍物定位、高精地图构建。
自动驾驶高精地图
26
工程化与部署
C++与Python混合编程、ROS集成、嵌入式平台优化(NVIDIA Jetson)。
工程部署
27
性能评估
轨迹误差(ATE/RPE)、EuRoC/TUM/KITTI数据集、评估工具evo。
评估数据集
28
实战项目一:ORB-SLAM3室内定位
基于ORB-SLAM3的室内定位系统搭建(从数据采集到定位演示)。
实战ORB-SLAM3
29
实战项目二:简易视觉里程计
基于OpenCV的简易视觉里程计实现(特征法+光流法双版本)。
实战OpenCV
30
实战项目三:深度学习视觉定位
基于深度学习的视觉定位系统(SuperPoint+SuperGlue+PnP)。
实战深度学习