4、激光雷达与相机联合标定

激光雷达与相机的联合标定是传感器融合中最关键的步骤之一。其核心目标是求解两个传感器坐标系之间的刚性变换关系（旋转矩阵 R 和平移向量 t），使得激光雷达点云中的三维点能够精确投影到相机图像平面上，实现像素级的数据对齐。

4.1 联合标定的原理

联合标定的本质是建立一个从3D激光雷达坐标系到2D图像像素坐标系的映射关系。该过程涉及以下坐标系转换链：

  1. 激光雷达坐标系 (L)：点云数据所在的3D坐标系。
  2. 相机坐标系 (C)：以相机光心为原点的3D坐标系。
  3. 图像坐标系 (I)：以像素为单位的2D坐标系。

数学上，对于激光雷达坐标系下的一个点 PL = (X, Y, Z)，其在图像上的投影点 p = (u, v) 可通过以下公式计算：

s * [u, v, 1]^T = K * [R | t] * [X, Y, Z, 1]^T

其中：

  • K 是相机内参矩阵（焦距、主点坐标），通常通过相机内参标定获得。
  • [R | t] 是待求的激光雷达到相机的外参矩阵。
  • s 是尺度因子（对于针孔模型，s = ZC，即点在相机坐标系下的深度）。

标定的目标就是通过采集多组3D-2D对应点对，求解最优的 R 和 t。

4.2 手动标定方法

手动标定是最传统、最直观的方法，通常用于算法验证或小批量生产。其流程如下：

  1. 准备标定物：使用棋盘格或特定形状的标定板（如带有反光标记的平板）。
  2. 数据采集：在多个不同位置、不同角度下，同步采集激光雷达点云和相机图像。
  3. 手动选取对应点：在图像中手动点击标定板的角点，同时在点云中手动选取对应的3D点（例如标定板的边缘或中心）。
  4. 求解外参：利用PnP（Perspective-n-Point）算法或直接线性变换（DLT）求解 R 和 t。
  5. 优化：使用非线性最小二乘法（如Levenberg-Marquardt）最小化重投影误差。

手动标定的优缺点：

优点 缺点
原理简单，易于实现 依赖人工操作，效率低，易引入人为误差
适用于任何场景 点云中选取3D点精度差（尤其是远距离点）
可作为自动标定的验证基准 难以保证多组数据的一致性

4.3 自动标定方法

自动标定方法通过算法自动寻找点云与图像之间的对应关系，大幅提高了标定效率和精度。主流方法分为基于特征点和基于互信息两类。

4.3.1 基于特征点的方法

该方法利用标定板上的特殊几何特征（如棋盘格角点、圆形标记点）建立对应关系。

典型流程：

  1. 图像处理：使用OpenCV等库自动检测图像中的棋盘格角点或圆形标记中心。
  2. 点云处理：利用点云的反射强度信息或几何形状，自动提取标定板平面，并计算角点对应的3D坐标。
  3. 对应匹配：根据标定板在空间中的唯一性，建立2D角点与3D角点的一一对应。
  4. 求解与优化：使用PnP算法求解初值，再通过重投影误差最小化进行优化。

关键技术点：

  • 强度阈值分割：利用激光雷达的反射强度值，区分标定板（高反射）与背景。
  • 平面拟合：使用RANSAC算法拟合标定板平面，剔除离群点。
  • 边界提取：通过点云边缘提取算法（如基于角度或距离的边界检测）确定标定板边界，进而计算角点。

4.3.2 基于互信息的方法

互信息（Mutual Information, MI）是一种基于信息论的度量，用于衡量两个随机变量之间的统计依赖性。在标定中，它衡量投影后的点云深度图与相机灰度图像之间的相关性。

核心思想：当外参正确时，激光雷达点云投影到图像上形成的深度图，与相机拍摄的灰度图在边缘、纹理等结构上具有最大的互信息。

数学表达：

MI(I, D) = H(I) + H(D) - H(I, D)

其中 H(I) 和 H(D) 分别是图像和深度图的熵，H(I, D) 是联合熵。标定过程即寻找外参 T 使得 MI(I, D(T)) 最大化。

优势与挑战：

优势 挑战
无需标定板，可在自然场景中自动标定 计算量大，需要全局优化
对光照变化和部分遮挡鲁棒 对初始值敏感，容易陷入局部最优
适用于多线激光雷达与广角相机 需要场景具有足够的纹理和结构信息

4.4 标定结果验证

标定完成后，必须进行定量和定性的验证，以确保外参的准确性。

验证方法：

  1. 重投影误差（Reprojection Error）：
    • 计算所有对应点对在图像上的投影误差：error = sqrt((u_obs - u_proj)^2 + (v_obs - v_proj)^2)。
    • 平均重投影误差应小于1~2个像素（取决于传感器分辨率）。
  2. 可视化验证（Visual Inspection）：
    • 将点云投影到图像上，观察点云边缘是否与图像中的物体边缘（如建筑物、车辆、行人）对齐。
    • 检查远距离物体（如50米外的路灯杆）是否仍保持对齐。
  3. 交叉验证（Cross Validation）：
    • 使用一组未参与标定计算的数据进行验证。
    • 计算点云投影到图像后的深度一致性（例如，投影点对应的图像区域深度应与点云距离一致）。
  4. 残差分析（Residual Analysis）：
    • 绘制所有对应点的重投影误差分布直方图。
    • 检查是否存在系统性偏差（如所有点都偏向一侧），这通常表明外参存在未校准的旋转或平移误差。

常见问题与排查：

  • 点云与图像错位：检查相机内参是否准确，或标定板是否在激光雷达和相机的共同视野内。
  • 远距离误差大：可能是激光雷达与相机之间的基线距离过大，导致视差效应明显，需考虑使用更远的标定距离。
  • 时间同步问题：确保激光雷达和相机在采集数据时时间戳对齐，避免运动导致的错位。
← 上一章 📖 返回目录 下一章 →