01
课程导论
RGBD相机工作原理、深度数据应用场景、课程目标与学习路径
概览入门
02
相机成像模型
针孔相机模型、畸变模型(径向与切向)、相机内参矩阵
几何内参
03
深度相机原理
结构光、ToF、双目立体视觉原理对比
传感器对比
04
相机标定基础
标定的目的、标定板设计(棋盘格/圆点)、张正友标定法简介
标定板张正友
05
环境搭建
OpenCV、Eigen、PCL、ROS(可选)安装与配置
工具链配置
06
RGB相机标定实战
使用OpenCV进行单目标定、内参计算、畸变矫正
OpenCV单目
07
深度相机标定
深度误差模型、深度畸变、深度与RGB对齐原理
深度对齐
08
联合标定 (Stereo Calibration)
RGB与深度相机外参标定、旋转与平移矩阵
外参立体
09
标定工具使用
Kalibr、ROS camera_calibration、MATLAB标定工具箱
KalibrROS
10
标定结果评估
重投影误差分析、深度误差分布、标定质量指标
评估误差
11
深度数据采集
相机驱动配置、深度流与彩色流同步采集
驱动同步
12
点云生成
深度图转点云、相机内参应用、点云滤波(直通/体素/统计)
点云滤波
13
RGB-D融合
彩色图与深度图对齐、纹理映射、RGB-D点云生成
融合纹理
14
深度数据存储
PNG/EXR深度图、PCD/PLY点云、ROS bag录制
格式bag
15
深度数据可视化
OpenCV显示、PCL可视化、rviz可视化
可视化rviz
16
深度补全
空洞填充、双边滤波、基于深度学习的补全方法简介
补全滤波
17
深度测量
单点测距、区域测距、物体尺寸测量
测量尺寸
18
多视角深度采集
多相机同步、全局坐标系统一、点云拼接
多相机拼接
19
深度数据预处理
去噪、平滑、边缘保持滤波
预处理平滑
20
深度与IMU融合
视觉-惯性标定、深度辅助VIO
IMUVIO
21
深度数据在SLAM中的应用
RGB-D SLAM(ORB-SLAM3、RTAB-Map)
SLAMORB
22
深度数据在三维重建中的应用
TSDF融合、Marching Cubes、Mesh生成
重建Mesh
23
深度数据在机器人抓取中的应用
物体分割、位姿估计、抓取点规划
抓取位姿
24
深度数据在自动驾驶中的应用
障碍物检测、可通行区域分析
自动驾驶障碍物
25
深度数据在AR/VR中的应用
空间映射、遮挡处理、手势识别
AR/VR手势
26
常见问题与调试
深度图噪声、标定失败、同步丢帧、曝光问题
调试故障
27
性能优化
多线程采集、GPU加速点云生成、实时性优化
优化GPU
28
实战项目一:桌面物体扫描与重建
基于RGB-D的桌面物体扫描与重建
项目扫描
29
实战项目二:人体姿态估计与深度辅助
基于RGB-D的人体姿态估计与深度辅助
项目姿态
30
课程总结与进阶方向
前沿论文推荐、开源项目、职业发展建议
总结进阶