1. 传感器对齐概述：为什么需要雷达与摄像头融合？

大家好，我是你们这期课程的讲师。在自动驾驶感知领域摸爬滚打了这么多年，我越来越觉得，传感器融合这事儿，就像做菜——单一食材再好，也难成盛宴。

今天咱们先聊聊最基础的问题：为什么非要把雷达和摄像头凑一块儿？ 各自单干不行吗？

嗯，还真不行。我刚开始做项目那会儿，也天真地以为“摄像头够强了，啥都能认”。结果呢？一次雨夜测试，前车尾灯反光，视觉直接“瞎”了。从那以后，我再也不敢小瞧传感器融合的必要性。

1.1 单一传感器的“致命短板”

先看看它们各自的本事和软肋。

传感器	强项	弱项（我踩过的坑）
摄像头	纹理、颜色、车道线、交通标志识别	光照敏感（逆光/黑夜）、测距不准、深度估计靠猜
毫米波雷达	全天候、测距测速准、直接输出点云	角度分辨率低、无法识别物体类别、点云稀疏

说白了，摄像头是个“文科生”，能认出这是车、那是人，但距离感差。雷达是个“理科生”，距离速度算得门儿清，但分不清前面是辆卡车还是路边的铁皮垃圾桶。

我有个朋友，早期做纯视觉方案，遇到大雾天，系统直接报“前方无障碍”，结果差点撞上护栏。这就是单一传感器的局限性——它只能看到它想看到的。

1.2 融合的核心价值：1+1 > 2

那把它们放一起，能解决什么问题？

• 互补短板：摄像头提供语义信息（“这是行人”），雷达提供精确位置（“他在前方15米，速度1.2m/s”）。
• 冗余安全：一个传感器失效，另一个还能顶上。我记得有一次测试，摄像头被飞石打裂了，全靠雷达数据撑着完成了紧急制动。
• 提升鲁棒性：雨雪天、隧道口、强光直射——这些场景下，单一传感器几乎必跪，但融合系统能稳住。

1.3 对齐是融合的前提

你可能会问：“既然融合这么好，直接把数据扔一起不就行了？”

哪有那么简单！

雷达看到的是三维空间中的点（x, y, z, v），摄像头看到的是二维图像上的像素（u, v）。它们俩的坐标系都不一样，就像一个人说中文，一个人说英文，不翻译怎么交流？

这就是我们这门课的核心——传感器对齐。说白了，就是找到一种数学关系，把雷达点云“投影”到图像上，或者反过来，把图像信息“映射”到雷达坐标系里。

我见过不少团队，算法模型调得再好，对齐参数没标准，结果就是：雷达检测到障碍物，但摄像头框出来的位置偏了半米。这种错位，在高速场景下就是致命的。

1.4 对齐到底要做什么？

简单来说，对齐包含两个层面：

1. 时间对齐：雷达和摄像头的数据采集频率不同（雷达通常10-20Hz，摄像头30Hz），需要找到同一时刻的数据帧。
2. 空间对齐：通过标定，得到两个传感器之间的旋转矩阵和平移向量，把雷达点云投影到图像平面。

举个例子，你开车时看到前方有个行人。摄像头在t1时刻拍到了他，雷达在t2时刻测到了他。如果时间没对齐，你拿t1的图像去匹配t2的雷达点，位置肯定对不上。空间没对齐就更惨了——点云投影到图像上，可能偏到马路牙子上去了。

1.5 融合的典型应用场景

聊了这么多理论，咱们看看实际中融合能干啥：

• 目标检测与跟踪：摄像头识别出“车”，雷达给出“距离80米，速度60km/h”，融合后输出一个稳定的跟踪轨迹。
• 可行驶区域检测：摄像头看到路面，雷达探测到路沿和障碍物，两者结合生成安全路径。
• 紧急制动（AEB）：摄像头发现前方有障碍物，雷达确认距离和相对速度，系统决定是否刹车。

你想想看，如果只有摄像头，AEB在黑夜或雨雾天基本就废了。如果只有雷达，它可能把路边的金属广告牌也当成障碍物，一脚急刹把你吓一跳。融合之后，两者互相验证，决策才靠谱。

1.6 小结

好了，这一章咱们把“为什么需要融合”这件事讲清楚了。总结一下：

• 摄像头和雷达各有短板，谁也替代不了谁。
• 融合的核心是互补和冗余，提升系统安全性。
• 对齐是融合的前提，时间对齐和空间对齐缺一不可。

下一章，我会带大家深入雷达和摄像头的坐标系，看看它们到底是怎么“看”世界的。到时候咱们再聊具体的数学公式和代码实现。

嗯，先消化这些吧。有问题随时在评论区问我，我看到就会回。