01
课程导论:意义与应用
AR/VR、3D重建、自动驾驶场景及课程框架
导论全景
02
传感器原理
ToF、结构光、双目立体与RGB相机工作原理
硬件标定基础
03
相机模型与坐标系
针孔模型、世界/相机/图像/像素坐标系转换
数学坐标
04
相机内参标定
张正友法、棋盘格角点检测、内参与畸变
标定OpenCV
05
相机外参标定
旋转矩阵、平移向量、手眼标定简介
外参位姿
06
深度图与彩色图对齐原理
视差、基线、重投影映射与公式推导
核心几何
07
OpenCV基础操作
图像读写、像素操作、ROI、颜色空间转换
编程入门
08
深度图预处理
双边/引导滤波去噪、空洞填充、归一化
滤波深度
09
彩色图预处理
去噪、直方图均衡、对比度增强、锐化
增强RGB
10
特征点提取与匹配
SIFT/SURF/ORB、暴力匹配、FLANN
特征匹配
11
图像配准基础
单应性、仿射/透视变换、重采样
变换几何
12
基于特征点的图像配准
特征匹配求解单应性,粗对齐彩色与深度
配准粗对齐
13
深度图与彩色图联合标定
联合标定板、流程、RGB-D外参获取
联合标定关键
14
点云生成
深度图→3D点云、彩色纹理融合、PLY/OBJ
点云格式
15
点云预处理
体素滤波、统计滤波去离群点、法线估计
滤波降采样
16
ICP精配准
点对点/点对面ICP、多尺度、RGB-D融合
精配准ICP
17
深度图与彩色图融合
重投影像素级融合、多帧TSDF原理
融合TSDF
18
TSDF实践
截断符号距离函数、体素更新、Marching Cubes
重建体素
19
RGB-D SLAM简介
ORB-SLAM3、RTAB-Map中对齐与融合策略
SLAM框架
20
多传感器融合
IMU、GPS与RGB-D融合,松/紧耦合
多传感器融合
21
深度图增强
深度学习超分辨率(DKN)、深度补全
深度学习超分
22
彩色图增强
去模糊、低光照增强、HDR重建
增强恢复
23
语义分割与深度图
SegFormer+Depth、语义引导融合
语义引导
24
3D目标检测中的对齐
PointPillars、VoxelNet利用RGB-D数据
检测3D
25
实战项目1:标定与对齐流水线
OpenCV + Open3D 搭建RGB-D标定对齐
实战流水线
26
实战项目2:TSDF实时重建
Open3D / KinectFusion 实时3D重建
实战TSDF
27
实战项目3:RGB-D SLAM部署
RTAB-Map 移动机器人部署
实战SLAM
28
性能优化
多线程、CUDA加速、内存管理、实时性
优化GPU
29
常见问题与调试
对齐错位、深度空洞、标定失败、点云漂移
调试排错
30
课程总结与展望
技术瓶颈、NeRF、3D高斯泼溅、学习路径
总结前沿