深度相机畸变校正与重投影实战

📚 共计 30 章节
01
相机模型与成像原理
小孔成像模型、针孔相机数学模型、世界坐标系到像素坐标系的转换。
基础坐标系
02
畸变来源与类型
径向畸变(桶形/枕形)、切向畸变、薄棱镜畸变,以及它们对深度图的影响。
畸变分类
03
相机标定基础
标定板设计(棋盘格/圆点阵)、角点检测原理、张正友标定法核心思想。
标定板张正友
04
内参矩阵与外参矩阵
内参K矩阵的物理意义、外参[R|t]的几何含义、投影矩阵P。
矩阵投影
05
畸变系数详解
k1,k2,k3径向系数、p1,p2切向系数、OpenCV中畸变模型公式。
系数OpenCV
06
OpenCV标定流程
findChessboardCorners、calibrateCamera、标定结果评估。
流程评估
07
单目相机标定实战
使用Python+OpenCV完成单目相机标定,获取内参和畸变系数。
实战Python
08
畸变校正原理
映射与插值、前向映射与反向映射、双线性插值在去畸变中的应用。
插值映射
09
OpenCV去畸变函数
undistort、initUndistortRectifyMap、remap函数详解与对比。
APIremap
10
深度相机标定特殊性
IR相机与RGB相机联合标定、深度噪声模型、温度对畸变的影响。
深度联合标定
11
双目相机标定
立体标定原理、stereoCalibrate、立体校正(Rectification)的目的。
双目立体
12
立体校正与重投影
Bouguet算法、极线约束、重投影矩阵Q的推导。
极线Q矩阵
13
视差与深度计算
视差图生成、三角测量原理、深度图计算公式。
视差三角测量
14
深度图后处理
空洞填充、中值滤波、双边滤波在深度图上的应用。
滤波后处理
15
点云生成与可视化
从深度图生成3D点云、PCL/Open3D基础使用。
点云Open3D
16
RGB-D融合
颜色与深度对齐、纹理映射、RGB-D点云生成。
融合纹理
17
重投影误差分析
重投影误差定义、误差来源、如何用重投影误差评估标定质量。
误差评估
18
标定精度优化
多姿态采集策略、边缘区域畸变处理、亚像素角点检测。
优化亚像素
19
鱼眼相机模型
等距投影模型、OpenCV鱼眼标定流程、鱼眼去畸变。
鱼眼等距
20
TOF相机畸变校正
TOF工作原理、多路径干扰、TOF特有的畸变校正方法。
TOF多路径
21
结构光相机畸变校正
结构光编解码、散斑匹配、结构光特有的校正流程。
结构光散斑
22
在线标定与自标定
基于特征点的在线标定、SLAM中的自标定技术。
在线SLAM
23
畸变校正硬件加速
GPU加速remap、FPGA实现实时去畸变、嵌入式优化技巧。
GPUFPGA
24
标定工具对比
MATLAB标定工具箱、OpenCV、Kalibr、Basalt标定工具优缺点。
工具对比
25
多相机系统标定
多相机联合标定、外参优化、全局BA优化。
多相机BA
26
热成像相机畸变校正
热成像原理、热畸变特性、热成像与可见光融合标定。
热成像融合
27
事件相机畸变校正
事件相机原理、事件流畸变模型、事件相机标定方法。
事件相机标定
28
深度相机标定常见问题
标定板不平整、光照变化、标定失败原因排查。
排查问题
29
工业应用案例
机器人抓取中的深度校正、AGV导航中的重投影应用。
机器人AGV
30
课程总结与进阶方向
当前技术瓶颈、前沿研究方向(NeRF中的畸变建模、端到端去畸变)。
总结NeRF