1. 课程导论：为什么恶劣天气是感知的噩梦？

大家好，我是你们这门课的主讲人。在自动驾驶这个行当摸爬滚打了快十年，我见过太多「晴天一条龙，雨天一条虫」的感知系统了。说实话，恶劣天气一直是悬在自动驾驶商业化头顶的一把剑。今天这第一节课，咱们就来聊聊——为什么一到雨雪雾天，那些在晴天里表现惊艳的算法，就集体「翻车」了？

1.1 传感器在恶劣天气下的「物理极限」

先问大家一个问题：自动驾驶的感知系统靠什么「看」世界？无非是摄像头、激光雷达、毫米波雷达这几样。但每种传感器都有自己的「阿喀琉斯之踵」。

摄像头： 说白了就是个高级相机。它依赖环境光反射成像。雨滴、雪花、浓雾会直接遮挡视线，就像你戴着沾满水珠的眼镜开车。更麻烦的是，光线在雨雾中会发生散射和衰减，导致图像对比度急剧下降。我在项目中遇到过，一场中雨就能让目标检测的置信度从0.95掉到0.3以下。

激光雷达： 它靠发射激光束并接收回波来测距。但激光怕什么？怕水！雨滴和雾滴会吸收和散射激光能量。我记得有一次在高速上测试，毛毛雨天气下，激光雷达的有效探测距离直接从200米缩水到了50米。而且，雨滴反射回来的「噪点」会让点云变得像雪花屏一样，你根本分不清哪个是障碍物，哪个是雨滴。

毫米波雷达： 这个相对抗干扰能力强一些，但它也有自己的毛病。它对金属物体敏感，但对行人、非金属障碍物的反射信号很弱。而且，在暴雨中，毫米波会被雨滴严重衰减，产生大量的「多径效应」——就是信号在地面和雨滴之间来回弹，导致测距出现巨大误差。

1.2 数据分布的「域偏移」——算法失效的根源

你可能会问：「传感器性能下降我能理解，但为什么算法也跟着崩？」

嗯，这里有个关键概念——域偏移（Domain Shift）。说白了，就是训练数据和实际数据的「长相」不一样了。

我们训练深度学习模型时，用的数据集大多是晴朗天气下采集的。模型学到的特征，比如「车」的纹理、「行人」的轮廓，都是基于清晰、高对比度的图像。一旦到了雨雾天，图像变得模糊、颜色失真、光照不均，模型就「懵」了——它没见过这样的「车」啊！

我给大家看个真实案例。我们曾经用晴天数据训练的目标检测模型，在雾天测试时，把路边的垃圾桶误检成了「行人」。为什么？因为雾天的模糊轮廓和行人的模糊轮廓在特征空间里「撞车」了。这就是域偏移带来的灾难。

天气条件	目标检测mAP（平均精度）	语义分割mIoU（平均交并比）
晴朗	85.2%	78.6%
小雨	62.3%	55.1%
中雨	41.7%	38.4%
大雾	29.5%	25.3%

看到没？从晴天到中雨，性能直接腰斩。这还只是小雨，要是碰上暴雨或团雾，基本就是「睁眼瞎」状态。

1.3 恶劣天气带来的「连锁反应」

传感器性能下降 + 算法域偏移，这还不是最可怕的。真正让人头疼的是，它会引发一连串的「连锁反应」：

• 目标漏检： 该看到的车没看到，这是最致命的。
• 误检爆炸： 把雨滴当成障碍物，把水花当成行人，导致车辆频繁急刹。
• 跟踪丢失： 前一帧还能看到的目标，下一帧因为雨雾遮挡就丢了，轨迹断断续续。
• 定位漂移： 激光雷达点云退化，导致基于点云的定位算法失效，车辆不知道自己「在哪儿」。

1.4 为什么传统「去雨去雾」算法不够用？

你可能会想：「那我把图像先做去雨去雾处理，再送给感知模型不就行了？」

想法很好，但现实很骨感。传统的图像增强算法，比如暗通道先验去雾、基于滤波的去雨，有两个硬伤：

1. 计算开销大： 一张1080p的图像，去雾处理可能要花几十毫秒。而自动驾驶要求每帧处理时间在30-50ms以内。你想想看，光预处理就占了大半时间，留给检测和跟踪的时间就不够了。
2. 引入伪影： 去雨算法经常会把图像中的纹理「抹掉」，或者产生不自然的色块。这些伪影对深度学习模型来说，就是新的「噪声」，反而会降低检测精度。

说白了，传统方法是在「治标」，而我们真正需要的是「治本」——让感知算法本身就能适应恶劣天气。

1.5 本课程要解决的核心问题

那么，我们这门课到底要讲什么？简单来说，就是一套「组合拳」：

• 数据层面： 如何构建包含雨、雪、雾、夜晚等场景的数据集？如何用生成对抗网络（GAN）做数据增强？
• 模型层面： 如何设计对天气鲁棒的特征提取网络？如何用域自适应（Domain Adaptation）技术缩小晴天和雨天的特征差异？
• 传感器层面： 如何做多传感器的时间同步和空间对齐？如何用毫米波雷达「补」激光雷达的短板？
• 系统层面： 如何设计一个「天气感知」的决策模块？当感知置信度低时，车辆应该减速还是靠边停车？

好了，第一节课就到这里。下一节，我们会深入聊聊「数据增强：如何用GAN生成逼真的雨雾场景？」。到时候我会分享一个我踩过的坑——用GAN生成的雨雾太假，反而把模型训废了。敬请期待！