深度估计核心技术与工程实现

📚 共计 30 章节
01
深度估计概述
什么是深度估计、应用场景(自动驾驶/AR/VR/机器人)、课程大纲与学习路径
入门全景
02
相机成像原理
针孔相机模型、坐标系转换(世界/相机/图像/像素)、相机内参与外参
几何核心
03
双目立体视觉基础
对极几何、视差与深度的关系、立体匹配的基本流程
双目经典
04
传统深度估计方法
SGM(半全局匹配)、BM(块匹配)、基于特征点的深度恢复
传统匹配
05
深度学习基础回顾
CNN核心概念(卷积/池化/全连接)、损失函数(L1/L2/SSIM)、优化器(SGD/Adam)
基础CNN
06
单目深度估计开山之作
Eigen et al. 2014 论文精读、多尺度网络结构、尺度不变损失函数
里程碑单目
07
编码器-解码器架构
U-Net 在深度估计中的应用、跳跃连接的作用、特征融合策略
架构U-Net
08
自监督单目深度估计
Monodepth 系列原理、光度一致性损失、左右一致性检查
自监督单目
09
深度估计中的注意力机制
通道注意力(SENet)、空间注意力、Transformer(DPT)
注意力Transformer
10
基于视频的深度估计
利用时序信息、光流引导、运动一致性约束
视频时序
11
深度补全技术
稀疏深度图稠密化、RGB引导的深度补全、SPN(空间传播网络)
补全稠密
12
轻量化模型设计
MobileNet / ShuffleNet 应用、知识蒸馏、模型剪枝
轻量部署
13
不确定性建模
Aleatoric / Epistemic 不确定性、贝叶斯深度学习、不确定性引导损失
不确定性贝叶斯
14
3D 场景重建
从深度图到点云、点云滤波与下采样、TSDF 融合
3D重建
15
深度估计数据集详解
KITTI / NYU Depth v2 / Make3D / ScanNet / Middlebury
数据集评测
16
评价指标
Abs Rel、RMSE、阈值准确度 (δ1/δ2/δ3)、深度图可视化评估
指标评估
17
数据增强与预处理
几何增强(翻转/旋转/缩放)、光度增强、深度图归一化
增强预处理
18
训练技巧
学习率调度(Cosine Annealing/Step Decay)、梯度裁剪、混合精度、分布式训练
训练调优
19
模型部署与优化
ONNX 导出、TensorRT 加速、量化 (INT8/FP16)、移动端部署 (NCNN/TFLite)
部署加速
20
多任务学习
同时预测深度、表面法向量、语义分割的联合训练框架
多任务联合
21
基于 NeRF 的深度估计
神经辐射场简介、体渲染与深度、NeRF 在深度估计中的局限性
NeRF前沿
22
域自适应
合成数据到真实数据的迁移、对抗训练、风格迁移
域迁移泛化
23
实时深度估计系统设计
传感器选型(双目/ToF/LiDAR)、系统架构、延迟优化
系统实时
24
自动驾驶中的深度估计
车道线深度先验、障碍物测距、BEV 感知中的深度估计
自动驾驶BEV
25
AR/VR 中的深度估计
虚拟物体遮挡、手势交互深度感知、空间锚点
AR/VR交互
26
机器人中的深度估计
SLAM 深度初始化、抓取姿态估计、避障导航
机器人SLAM
27
深度估计前沿研究
扩散模型、大模型 (ViT/SAM) 应用、零样本深度估计
前沿扩散模型
28
工程实践(一)
数据流水线搭建 (DataLoader/缓存)、日志与可视化 (TensorBoard/WandB)
工程数据
29
工程实践(二)
模型调试技巧(梯度检查/过拟合小数据集)、常见错误与解决方案
调试实战
30
课程总结与未来展望
深度估计技术趋势、学习资源推荐、如何开展自己的研究项目
总结展望