课程导论：RGBD相机工作原理、深度数据应用场景、课程目标与学习路径
大家好，我是你们这门课的老朋友。说实话，每次开新课前，我都习惯先跟学员聊聊「这东西到底能干嘛」。RGBD相机标定这件事，我最早接触是在2016年做服务机器人项目的时候。那时候市面上能用的消费级深度相机还不多，标定工具更是稀罕物。嗯，今天这第一讲，咱们就把底子打扎实。
RGBD相机到底是个啥？
说白了，RGBD相机就是一台能同时拍彩色照片和深度图的设备。RGB通道给你颜色信息，D通道给你每个像素到相机的距离。你想想看，普通摄像头拍出来的是一张平面图，而RGBD相机给你的是一张带「厚度」的图。
我习惯把深度相机分成三类：
- 结构光法：像Kinect v1那样，投射红外散斑，通过变形计算深度。我在项目中遇到过，这玩意儿在室内强光下容易失效。
- 双目立体视觉：用两个普通摄像头模拟人眼视差。说白了就是三角测量，计算量大，但硬件成本低。
- ToF（飞行时间法）：像Kinect v2和iPhone的LiDAR，直接测量光脉冲往返时间。速度快，但分辨率通常不高。
我个人建议，初学者先从结构光或ToF入手，因为双目标定涉及两个相机的外参，坑比较多。
核心知识点：RGBD相机输出的本质是「对齐后的彩色图+深度图」。深度图每个像素值代表毫米级的距离，但原始数据往往有空洞和噪声。
深度数据能用在哪儿？
我最早做的一个项目是仓储机器人避障。那时候用单目摄像头，经常撞到透明玻璃门。换成RGBD相机后，深度图直接告诉我「前面有东西」，哪怕它看起来是透明的。你想想看，这就是深度数据的价值——它不依赖纹理。
常见的应用场景包括：
- 机器人导航与避障：实时获取障碍物距离，生成可通行区域。我记得有一次调试，深度图里突然出现一个黑洞，后来发现是相机被阳光直射了。
- 三维重建与SLAM：把多帧深度图拼成完整的三维模型。这里有个坑——如果相机标定不准，重建出来的墙是弯的。
- 人机交互与手势识别：通过深度图分割出手部区域，再提取骨架。我做过一个手势控制机械臂的项目，深度图的分辨率直接决定了识别精度。
- 工业检测与测量：比如检测零件平面度、测量物体体积。嗯，这里要注意，深度相机的精度通常不如激光雷达，但胜在速度快、成本低。
个人经验：如果你做的是移动机器人项目，建议把深度相机装在离地面30-40cm的高度。装太高了，地面反射会引入大量噪声。我曾经因为这个原因排查了三天，最后发现是安装角度的问题。
课程目标与学习路径
这门课的目标很明确——让你能独立完成RGBD相机的标定，并采集到可用的深度数据。不是那种「跑通demo就完事」的课，而是让你真正理解每个参数的含义。
我设计的路径是这样的：
| 阶段 | 内容 | 产出 |
|---|---|---|
| 第一阶段 | 相机成像原理、内参外参概念 | 能手动推导投影公式 |
| 第二阶段 | RGB相机标定实战（棋盘格法） | 拿到内参矩阵和畸变系数 |
| 第三阶段 | 深度相机标定与对齐 | RGB与深度图像素级对齐 |
| 第四阶段 | 深度数据采集与预处理 | 能保存带时间戳的深度图序列 |
| 第五阶段 | 实战项目：物体三维扫描 | 完整的数据采集到重建流程 |
为什么会这样安排？因为很多教程一上来就让你跑标定程序，结果你连内参矩阵里的fx、fy代表什么都不清楚。我习惯先讲清楚「为什么」，再讲「怎么做」。
避坑指南：我曾经见过一个学员，用OpenCV的标定接口跑通了，但输出的深度图全是扭曲的。后来发现他用的棋盘格是打印在普通A4纸上的，没有贴到硬板上。棋盘格必须平整，否则标定出来的畸变系数全是错的。
知识体系总览
下面这张图是我自己画的，把整个课程的知识结构串起来了。你可以把它当作一张地图，随时回来看看自己走到哪一步了。
这张图里，从左到右是技术流程，从上到下是知识层次。我个人建议你把这图存下来，每学完一个模块就回来打个勾。嗯，我当年学的时候就是这么干的，很有成就感。
学习建议：别急着跑代码。先花一天时间把相机模型和坐标系变换搞明白。坐标系变换是后面所有标定工作的基础，这里如果糊弄过去，后面你会花十倍的时间来debug。
好了，导论部分就到这里。记住一句话：RGBD相机标定不是玄学，是数学。只要坐标系搞清楚了，剩下的就是调参和耐心。
公众号:蓝海资料掘金营，微信deep3321