深度学习视觉里程计实战 · 课程目录

课程导论与预备知识绪论

什么是视觉里程计？深度学习为何能解决传统VO的痛点？课程整体架构与学习路径。

相机模型与坐标系几何

针孔相机模型、内参矩阵、畸变模型、世界坐标系/相机坐标系/图像坐标系/像素坐标系之间的转换。

📐 坐标变换

李群与李代数基础李群

SO(3)与SE(3)的定义、指数映射与对数映射、BCH近似公式、扰动模型。

⚙️ 优化

2D-2D对极几何对极

对极约束、本质矩阵E与基础矩阵F、八点法求解、单应矩阵H。

🔷 几何约束

3D-2D PnP问题 PnP

直接线性变换(DLT)、P3P、EPnP、BA优化求解。

🎯 位姿估计

3D-3D ICP问题 ICP

SVD求解ICP、非线性优化求解ICP、深度图配准。

传统VO框架详解经典

特征点法VO流程（ORB-SLAM框架解析）、光流法VO、直接法VO。

深度学习基础回顾 DL基础

卷积神经网络(CNN)核心组件、循环神经网络(RNN)与LSTM、注意力机制。

🧠 神经网络

深度学习VO综述综述

学习型VO的分类（端到端/混合型）、代表性工作梳理（DeepVO, SfMLearner, DSO等）。

端到端单目深度估计深度

Monodepth2原理、损失函数设计（L1损失、SSIM损失、边缘平滑损失）、深度图后处理。

端到端位姿估计网络位姿

PoseNet架构、相对位姿回归、绝对位姿回归、损失函数设计。

🧭 位姿回归

无监督VO框架无监督

SfMLearner架构详解、视图合成损失、可微渲染、一致性损失。

🎬 自监督

双目深度估计与VO 双目

双目立体匹配基础、PSMNet架构、双目VO中的深度融合。

👁️ 立体

光流估计与VO结合光流

FlowNet/RAFT光流网络、光流引导的特征匹配、光流与位姿联合优化。

特征学习与匹配特征

SuperPoint特征提取网络、SuperGlue特征匹配网络、端到端特征匹配。

图神经网络在VO中的应用 GNN

图神经网络基础、关键点图构建、图匹配网络。

🕸️ 图网络

Transformer在VO中的应用 Transformer

视觉Transformer(ViT)基础、位姿Transformer、时空注意力机制。

⚡ 注意力

多任务学习框架多任务

同时学习深度、光流、位姿、语义分割的多任务网络、任务间注意力。

时序建模与循环VO 时序

基于LSTM/GRU的时序VO、双向时序建模、注意力时序融合。

不确定性估计不确定性

贝叶斯深度学习基础、位姿不确定性建模、深度不确定性建模、不确定性引导的优化。

数据集与评估指标评测

KITTI、TUM、EuRoC数据集详解、ATE/RPE评估指标、轨迹对齐。

数据增强与仿真增强

几何数据增强、光度数据增强、CARLA/Unity仿真数据生成、域适应。

模型训练技巧训练

学习率调度、梯度裁剪、混合精度训练、分布式训练、模型蒸馏。

模型部署与加速部署

ONNX导出、TensorRT加速、量化感知训练、移动端部署。

经典论文复现（一） DeepVO

DeepVO论文精读与代码复现（基于PyTorch）。

经典论文复现（二） SfMLearner

SfMLearner论文精读与代码复现（基于PyTorch）。

经典论文复现（三） D3VO

D3VO论文精读与代码复现（基于PyTorch）。

项目实战（一）单目VO

基于深度学习的单目VO系统搭建（从数据加载到轨迹输出）。

🛠️ 实战

项目实战（二）调优

VO系统性能调优与消融实验（模块替换、超参数搜索）。

前沿进展与未来方向 NeRF等

神经辐射场(NeRF)与VO、3D高斯泼溅与VO、大模型与VO、开放问题讨论。