3. IPM逆透视变换：从地面假设到鸟瞰视角

大家好，欢迎来到第三章。今天我们来聊聊IPM——逆透视变换。

说实话，我刚入行做感知的时候，第一次看到IPM这个词，还以为是某个公司的缩写。后来才知道，这玩意儿说白了就是：把相机拍到的图像，强行“掰”成从天上往下看的样子。

你想想看，我们开车时，前视摄像头看到的画面是带透视效果的——近处的路宽，远处的路窄。但做决策时，我们需要的是俯视图，也就是BEV视角。IPM就是干这个活的。

3.1 IPM的核心原理

IPM的全称是Inverse Perspective Mapping，逆透视映射。它的数学本质其实很简单：已知相机内外参，把图像像素坐标映射到世界坐标系中的某个平面上。

我习惯用一个比喻来理解：

• 透视变换：把3D世界“拍扁”到2D图像上（相机成像）
• 逆透视变换：把2D图像“还原”到3D世界中的某个平面（IPM）

但这里有个关键问题——从2D到3D是欠约束的。一个图像点对应的是3D空间中的一条射线，而不是一个点。所以我们必须加一个假设，才能唯一确定映射关系。

λ * [u, v, 1]^T = K * [R | t] * [X, Y, Z, 1]^T

3.2 单应性矩阵：IPM的数学工具

单应性矩阵（Homography）是IPM的数学核心。它描述的是两个平面之间的投影变换关系。

在IPM场景下，这两个平面分别是：

• 图像平面（像素坐标）
• 地面平面（世界坐标，Z=0）

单应性矩阵H是一个3x3的矩阵，有8个自由度（最后一个元素归一化为1）。它的形式是：

H = K * [r1, r2, t]

其中r1, r2是旋转矩阵R的前两列，t是平移向量。K是相机内参。

3.3 地面假设：IPM的基石与枷锁

地面假设是IPM能工作的前提，也是它最大的局限。

地面假设的内容：

• 假设车辆前方路面是一个平面
• 假设这个平面与车辆坐标系中的Z=0平面重合
• 假设相机安装位置固定，外参不变

听起来很美好，对吧？但现实世界从来不会这么配合。

3.4 IPM的局限性：为什么它不够用？

我总结了IPM在实际应用中的几个硬伤：

说白了，IPM是一个基于几何模型的确定性方法。它假设世界是完美的，但现实世界充满了不确定性。

3.5 IPM的改进方向

既然IPM有这么多问题，那怎么改进呢？我这些年看到和用过的方案主要有以下几种：

3.5.1 动态外参补偿

既然车辆颠簸会导致外参变化，那就实时估计外参。方法包括：

• 利用IMU数据估计车辆姿态变化
• 利用车道线等地面特征进行在线标定
• 使用视觉里程计（VO）估计相机运动

我的经验： 在量产项目中，IMU+视觉融合的方案最靠谱。纯视觉方案在光照变化大时容易漂移。

3.5.2 非平面地面模型

放弃“地面是平面”的假设，改用更复杂的模型：

• 分段平面模型：把地面分成多个小平面
• B样条曲面模型：用参数曲面拟合地面
• 深度图辅助：用深度估计结果指导IPM

3.5.3 多相机融合IPM

单个相机视野有限，而且远处精度差。用多个相机拼接：

• 前视+后视+侧视，四个鱼眼相机覆盖360°
• 每个相机独立做IPM，然后拼接成全景BEV
• 重叠区域做融合，消除接缝

import cv2
import numpy as np

def compute_ipm_homography(camera_matrix, dist_coeffs, rvec, tvec, 
                           src_points, dst_points):
    """
    计算IPM单应性矩阵
    src_points: 图像上的4个点 (像素坐标)
    dst_points: 地面上的4个点 (世界坐标, Z=0)
    """
    # 方法1: 直接计算透视变换
    H, _ = cv2.findHomography(src_points, dst_points)
    
    # 方法2: 利用相机参数计算
    # 提取旋转矩阵的前两列
    R, _ = cv2.Rodrigues(rvec)
    H_cam = np.hstack([R[:, :2], tvec.reshape(-1, 1)])
    H = camera_matrix @ H_cam
    
    return H

# 使用示例
H = compute_ipm_homography(K, dist, rvec, tvec, img_pts, world_pts)
bev_img = cv2.warpPerspective(img, H, (bev_width, bev_height))

3.5.4 基于学习的IPM替代方案

这是目前最主流的方向。既然几何模型有局限，那就让神经网络去学：

• 直接学习从图像到BEV的映射（如LSS、BEVFormer）
• 用Transformer的注意力机制隐式建模透视关系
• 端到端训练，不需要显式标定

但要注意，基于学习的方法需要大量标注数据。我在实际项目中，通常的做法是：先用IPM生成伪标签，再用这些伪标签训练一个轻量级网络。这样既利用了IPM的几何先验，又保留了学习的泛化能力。

3.6 小结与思考

IPM是一个经典但不过时的技术。它简单、高效、可解释性强，在平坦路面场景下表现很好。但它的局限性也很明显——地面假设太强，无法应对复杂场景。

我个人认为，IPM在自动驾驶中的定位应该是：

• 作为基线方法，快速验证感知流程
• 作为数据增强工具，生成BEV训练数据
• 与学习方法结合，提供几何先验

嗯，这一章就到这里。下一章我们会讲BEV感知中的另一个重要概念——视锥变换，也就是LSS方法的核心。到时候你会看到，如何用深度学习来“学习”IPM，而不是“计算”IPM。