1. 课程导论与行业背景
大家好，我是你们这门课的主讲。在自动驾驶这个行业摸爬滚打了快十年，踩过的坑比走过的路还多。今天咱们开篇，先聊聊整个技术演进的脉络，以及为什么BEV和Occupancy会成为现在量产方案里的香饽饽。
说实话，2016年我刚入行那会儿，大家还在争论「摄像头够不够用」、「激光雷达是不是必须的」。那时候的感知方案，说白了就是「前视单目+毫米波」的拼凑。你想想看，一个车道上跑着，前面有辆大货车，毫米波雷达能检测到，但摄像头一遇到强光就抓瞎。这种割裂感，我到现在都记得。
1.1 自动驾驶技术演进：从规则到数据驱动
早期的自动驾驶感知，基本靠手工特征。比如用Canny边缘检测找车道线，用HOG+SVM识别行人。那时候我写过一个基于颜色空间的交通灯检测器，调参调了整整两周，结果一到阴天就失效。为什么会这样？因为规则是死的，场景是活的。
后来深度学习来了。2017年，YOLOv3和Faster R-CNN开始在车载平台上跑起来。我记得第一次在实车上部署一个轻量级检测模型，帧率从2fps提升到15fps，那种兴奋感，嗯，就像你第一次调通一个PID控制器一样。
但问题也随之而来：2D检测在图像上再准，也无法直接用于规划控制。你需要知道障碍物在自车坐标系下的真实位置，而不是像素坐标。这就引出了「视角转换」这个核心难题。
核心痛点： 2D感知 → 3D世界 → 规划控制，每一步都有信息损失。
1.2 BEV感知的兴起：为什么是鸟瞰图？
BEV，全称Bird‘s Eye View，就是鸟瞰视角。说白了，就是把摄像头、激光雷达、毫米波雷达的数据，统一投影到自车为中心的俯视图上。你想想看，规划模块要的是「前方50米有个静止障碍物」，而不是「图像右下角有个红色框」。BEV天然对齐了感知和规划的坐标系。
我个人习惯把BEV感知的发展分为三个阶段：
- 1.0 阶段： 基于IPM（逆透视映射）的硬投影。简单粗暴，但依赖地面平坦假设。我在一个地下车库项目里用过，结果地面有个小坡，投影全歪了。
- 2.0 阶段： 基于Transformer的端到端BEV。2021年Tesla AI Day上展示的BEVFormer，让整个行业看到了「注意力机制」在视角转换上的威力。
- 3.0 阶段： 多模态融合BEV。摄像头+激光雷达+毫米波，在BEV空间里做特征级融合。这是目前量产的主流方案。
我的建议： 如果你刚开始接触BEV，别急着上Transformer。先从IPM和LSS（Lift-Splat-Shoot）方案入手，理解「深度估计+投影」这个核心逻辑。我在带新人时，发现很多人连「视锥体」和「体素」的关系都没搞清楚，就开始调参了。
1.3 Occupancy Network的提出背景：BEV还不够吗？
BEV解决了「在哪里」的问题，但没解决「是什么形状」的问题。举个例子：一辆卡车停在路边，BEV检测框可能只框住了车身，但货箱的悬空部分呢？或者一个施工路障，形状不规则，BEV的矩形框根本没法描述。
Occupancy Network，说白了就是把空间划分成一个个小格子（体素），然后判断每个格子是否被占据。它不关心你是什么类别，只关心「这里有没有东西」。这听起来简单，但实际意义巨大：
- 通用障碍物检测： 不管你是车、人、锥桶还是掉落物，只要占据空间，就能检测到。
- 可行驶区域推理： 结合语义信息，可以判断哪些格子是「可通行」的。
- 长尾场景覆盖： 我遇到过最头疼的场景——高速路上一个破轮胎。BEV检测框根本框不住，但Occupancy能精确描述它的形状。
注意： Occupancy Network不是万能的。它的计算量比BEV检测大一个数量级。我在一个嵌入式平台上试过，3D体素分辨率设到0.1米，推理时间直接飙到200ms。量产落地时，必须在精度和实时性之间做取舍。
1.4 量产落地的挑战与机遇
聊完了技术，咱们得面对现实。量产和学术研究完全是两码事。我见过太多在KITTI上刷榜的方案，一上车就崩。为什么？
| 挑战维度 | 具体问题 | 我的经验 |
|---|---|---|
| 算力限制 | Orin、J5等芯片的算力天花板 | 我曾经把模型从FP32压缩到INT8，精度掉了3个点，但帧率从12fps提升到30fps。这个trade-off值得做。 |
| 数据闭环 | 长尾场景的数据采集和标注 | Occupancy的标注成本是2D框的10倍以上。我们团队后来用「自动标注+人工校验」的方式，才把成本降下来。 |
| 传感器标定 | 多传感器外参的在线/离线标定 | 有一次因为摄像头和激光雷达的标定误差大了0.1度，BEV投影直接偏了半米。标定这事，再怎么强调都不为过。 |
| 功能安全 | 感知失效的降级策略 | 我建议每个感知模块都要有「健康状态监控」。比如Occupancy输出置信度低于阈值时，自动切换到BEV检测模式。 |
但机遇同样巨大。2024年开始，国内头部车企已经将BEV+Occupancy作为标配方案。为什么？因为它真正打通了感知和规划的鸿沟。以前规划模块拿到的是「一堆检测框」，现在拿到的是「稠密占据场」，决策的鲁棒性提升了不止一个档次。
一句话总结： BEV解决了「感知在哪里」，Occupancy解决了「感知是什么形状」。两者结合，才是量产感知的完整拼图。
1.5 这门课能给你什么？
嗯，说了这么多，咱们得回归课程本身。这门课一共30章，我会从最基础的BEV空间变换讲起，一直深入到Occupancy Network的工程落地。每一章我都会结合自己踩过的坑、调过的参、改过的bug来讲解。
你不用担心听不懂。我会用最直白的语言，把那些论文里绕来绕去的公式拆开揉碎。比如BEVFormer里的「可变形注意力」，说白了就是「只关注关键位置的特征，而不是全图扫描」。你想想看，这多省算力。
最后，我想说：自动驾驶感知没有银弹。BEV和Occupancy是目前最好的方案，但也不是终点。我希望通过这门课，你能掌握一套「从理论到量产」的完整方法论。这样不管未来技术怎么变，你都能快速跟上。
好，咱们下一章见。
课后思考： 如果你现在要设计一个BEV感知系统，你会选择「纯视觉」还是「多模态融合」？为什么？欢迎在评论区留言，我会在下一章开头挑几个典型问题来解答。
公众号:蓝海资料掘金营，微信deep3321