1. BEV感知概述：从2D视觉到3D鸟瞰视角的演进

大家好，我是你们这门课的主讲。今天咱们聊聊BEV感知，这个在自动驾驶圈子里火得不行的话题。

说实话，我第一次接触BEV这个概念，是在2019年做的一个量产项目里。当时我们团队还在用传统的2D目标检测，结果发现车辆在弯道、坡道上的定位总是出问题。嗯，那时候我就意识到——2D视角的局限性，真的到了该突破的时候了。

1.1 为什么我们需要BEV？

先问大家一个问题：你开车的时候，是怎么判断周围环境的？

你肯定不是只看前方，对吧？你会看后视镜、侧视镜，甚至扭头看盲区。你的大脑其实在做一个「多视角融合」的工作——把各个方向看到的信息，整合成一个以自己为中心的「上帝视角」地图。

BEV（Bird‘s Eye View，鸟瞰视角）干的就是这件事。它把摄像头、激光雷达、毫米波雷达这些传感器采集的数据，统一投影到一个俯视的坐标系里。说白了，就是给车装了一个“上帝之眼”。

1.2 从2D到3D：我们经历了什么？

我习惯把自动驾驶感知的发展分成三个阶段：

阶段	代表方法	核心问题
1.0 纯2D感知	YOLO、Faster R-CNN	缺乏深度信息，无法处理遮挡和尺度变化
2.0 伪3D感知	2D检测 + 深度估计	深度估计误差大，后处理复杂，容易累积错误
3.0 BEV感知	LSS、BEVFormer、PETR	端到端学习，统一特征空间，时序融合自然

你看，1.0时代我们只能知道“前方有个车”，但不知道它离我多远、在哪个车道。2.0时代我们尝试用单目深度估计去推算，但那个深度误差，我在项目里吃过不少亏——有一次在隧道里，深度估计直接把一辆静止的工程车推到了50米外，差点出事。

所以到了3.0时代，大家想明白了：与其在2D空间里猜深度，不如直接让模型在3D空间里学。BEV就是干这个的。

3.3 BEV在自动驾驶中的核心地位

为什么说BEV是核心？我总结了三句话：

• 统一视角，消除歧义：所有传感器数据都投影到同一个俯视坐标系，不再有“前视”、“环视”的割裂感。
• 时序融合，自然流畅：BEV空间天然适合做时序对齐。你想想看，上一帧的车辆位置和这一帧的，在BEV空间里可以直接做差分，算出速度、加速度。
• 端到端学习，减少手工特征：从图像到BEV特征，整个流程可以端到端训练。我建议你重点关注这个特性——它让模型自己学会了如何从2D图像中提取3D信息。

个人经验：我在做BEV项目时，最头疼的不是模型精度，而是数据标注。BEV需要3D标注，成本比2D高了一个数量级。所以如果你刚入门，建议先用开源数据集（如nuScenes、Waymo）跑通流程，再考虑自建数据。

1.4 一个简单的BEV变换示例

为了让你更直观地理解，我写了一个极简的BEV变换代码。这不是完整的模型，只是演示了“如何把前视图的点投影到俯视图”。

import numpy as np

def project_to_bev(points_2d, camera_intrinsics, camera_extrinsics):
    """
    将2D图像点投影到BEV空间
    points_2d: (N, 2) 图像坐标系下的点
    camera_intrinsics: (3, 3) 相机内参
    camera_extrinsics: (4, 4) 相机外参（世界到相机）
    """
    # 1. 假设所有点都在地面平面（z=0）上
    # 2. 通过逆透视映射（IPM）得到世界坐标
    # 3. 取x, y作为BEV坐标
    
    # 这里简化处理：直接使用逆透视映射矩阵
    # 实际项目中需要标定地面平面
    bev_points = []
    for pt in points_2d:
        # 构建齐次坐标
        u, v = pt
        img_pt = np.array([u, v, 1.0])
        
        # 逆透视映射（简化版）
        # 实际需要求解地面平面方程
        world_pt = np.linalg.inv(camera_intrinsics) @ img_pt
        world_pt = world_pt / world_pt[2]
        
        # 假设z=0，得到BEV坐标
        bev_x = world_pt[0]
        bev_y = world_pt[1]
        bev_points.append([bev_x, bev_y])
    
    return np.array(bev_points)

# 使用示例
# 假设相机内参和图像点
K = np.array([[500, 0, 320],
              [0, 500, 240],
              [0, 0, 1]])
img_points = np.array([[320, 240], [400, 300], [200, 180]])
bev_coords = project_to_bev(img_points, K, None)
print("BEV坐标：\n", bev_coords)

注意：上面的代码只是一个教学演示。实际BEV感知中，我们不会手动做IPM，而是让神经网络学习这个映射关系。而且地面平面假设在坡道、颠簸路面会失效——我在一次测试中就遇到过，车辆上坡时所有BEV投影都偏移了半个车道。

1.5 当前主流BEV方案概览

说到主流方案，我建议你重点关注这几个方向：

• LSS（Lift-Splat-Shoot）：NVIDIA提出的经典方案，先“提升”2D特征到3D，再“拍平”到BEV。优点是简单直观，缺点是计算量大。
• BEVFormer：利用Transformer的注意力机制，在BEV空间和图像空间之间做交互。我个人觉得这是目前效果最好的方案之一。
• PETR：把3D位置编码直接加到图像特征里，让Transformer自己学会3D感知。思路很巧妙，但训练收敛慢。

你可能会问：“这么多方案，我该选哪个？”

我的建议是：先理解LSS，再研究BEVFormer。LSS是基础，理解了它，你就明白了BEV感知的核心思想——如何从2D图像中恢复3D信息。BEVFormer是进阶，它展示了如何用注意力机制做更精细的特征融合。

避坑指南：我曾经在部署BEV模型时踩过一个坑——模型在GPU上跑得很好，但一上嵌入式设备就崩了。后来发现是BEV特征图的尺寸太大，显存不够。所以做BEV部署时，一定要提前考虑特征图的分辨率和计算量。我建议你从128x128的BEV网格开始，再逐步增大。

1.6 本章小结

好了，这一章我们聊了：

• BEV是什么，为什么它比2D感知更强大
• 从2D到BEV的三个发展阶段
• BEV在自动驾驶中的核心地位
• 一个简单的BEV投影示例
• 主流BEV方案概览

下一章，我会带你深入LSS方案的细节，看看“Lift”到底是怎么把2D像素“提升”到3D空间的。到时候我会分享一个我在实际项目中踩过的坑——关于深度分布估计的初始化问题，保证让你少走弯路。

咱们下章见。

← 上一章 📖 返回目录 下一章 →