01
空间感知概述
什么是空间感知、三维空间基本概念(坐标系、点、向量),在机器人/AR/自动驾驶中的应用。
基础概念
02
三维坐标系与变换
世界、相机、图像、像素坐标系,刚体变换(旋转、平移)。
坐标刚体变换
03
相机模型与标定
针孔相机模型、内参矩阵、畸变模型、张正友标定法原理与实战。
标定内参
04
特征点提取与匹配
SIFT/SURF/ORB原理,暴力匹配与FLANN,RANSAC剔除误匹配。
特征匹配
05
对极几何与基础矩阵
对极约束、本质矩阵E、基础矩阵F,八点法求解,极线搜索。
几何矩阵
06
三角测量
两视图匹配点恢复三维点坐标,线性三角化与非线性优化。
三维重建优化
07
PnP问题
2D-3D位姿估计,DLT、P3P、EPnP算法原理与实现。
位姿EPnP
08
ICP算法
3D-3D点云配准,SVD求解ICP,点云粗配准与精配准。
点云配准
09
光流法
Lucas-Kanade光流,金字塔光流,稀疏与稠密光流。
光流运动
10
直接法视觉里程计
基于像素亮度不变假设,直接法估计相机运动,稀疏/半稠密直接法。
直接法里程计
11
卡尔曼滤波
状态预测与更新,线性卡尔曼滤波公式推导,一维与多维实现。
滤波预测
12
扩展卡尔曼滤波
非线性系统线性化,雅可比矩阵计算,EKF-SLAM入门。
EKFSLAM
13
粒子滤波
重要性采样、重采样,粒子滤波定位原理,与卡尔曼滤波对比。
粒子定位
14
多视图几何
三焦点张量、多视图重建、光束法平差(BA)原理。
多视图BA
15
图优化与g2o
图优化理论,构建位姿图,g2o库使用,误差函数与雅可比。
图优化g2o
16
ORB-SLAM2框架
系统架构、跟踪线程、局部建图线程、回环检测线程。
ORBSLAM
17
ORB-SLAM2实战
特征提取、地图初始化、局部BA、关键帧剔除策略。
实战关键帧
18
LSD-SLAM
大尺度直接法单目SLAM,逆深度参数化,sim3位姿图优化。
直接法单目
19
DSO
稀疏直接法里程计,光度标定,滑动窗口优化,零速检测。
DSO光度
20
VINS-Mono
视觉惯性导航系统,IMU预积分,紧耦合非线性优化。
VINSIMU
21
IMU原理与标定
加速度计与陀螺仪模型,Allan方差分析,六面法标定。
IMU标定
22
多传感器融合
GPS+IMU+视觉融合,松耦合与紧耦合,误差状态卡尔曼滤波。
融合GPS
23
点云处理基础
PCL库入门,体素滤波、统计滤波、半径滤波,点云可视化。
PCL滤波
24
点云分割与聚类
RANSAC平面分割,欧几里得聚类,区域生长分割。
分割聚类
25
三维重建
TSDF体素融合,Marching Cubes表面提取,泊松重建。
重建TSDF
26
深度学习与空间感知
3D卷积、PointNet、PointNet++原理,点云分类与分割。
深度学习PointNet
27
视觉定位与导航
视觉里程计与回环检测,拓扑地图与度量地图构建。
导航地图
28
动态环境SLAM
动态物体检测与剔除,语义SLAM,多物体跟踪。
动态语义
29
大规模场景重建
Colmap使用,SfM流程,MVS稠密重建,NeRF入门。
SfMNeRF
30
项目实战
基于ORB-SLAM2的AR应用开发,从零搭建视觉定位系统。
AR实战