1、课程导论：为什么需要雷达与视觉融合？

各位同学，欢迎来到《雷达与视觉融合的决策级策略实战》课程。

我是你们这门课的主讲。在自动驾驶感知领域摸爬滚打了七八年，踩过不少坑，也积累了一些心得。今天咱们开篇，先聊聊一个根本问题：为什么非得把雷达和视觉凑一块儿？

1.1 单一传感器的“致命短板”

先说说视觉。摄像头这东西，像人眼，信息最丰富。车道线、交通标志、行人姿态，它都能认。但它的短板也很明显——怕黑、怕雨、怕逆光。

我记得有一次在夜间测试，一个穿深色衣服的行人站在路边。视觉算法愣是没检测出来。还好当时有雷达在，不然就出大事了。说白了，视觉在恶劣天气和光照不足时，可靠性会断崖式下跌。

再来看毫米波雷达。它不怕黑，不怕雨雪，能直接测距和测速。但它也有自己的“盲区”：

• 角度分辨率低：分不清旁边车道和本车道的目标
• 无法识别类别：它知道“有个东西”，但不知道是车、是人、还是路牌
• 静止目标容易被过滤：很多雷达为了减少虚警，会滤掉静止物体，结果把路边的静止车辆也滤掉了

你想想看，如果只用雷达，遇到一个静止的锥桶，它可能直接忽略。如果只用视觉，遇到大雾天，它直接“失明”。

1.2 决策级融合：定义与优势

好，既然要融合，那怎么融？业界主要有三种思路：

• 数据级融合：把原始点云和图像像素直接拼在一起。精度高，但计算量巨大，而且传感器必须严格标定和对齐。
• 特征级融合：提取特征后再融合。这是目前的主流，但特征维度高，容易过拟合。
• 决策级融合：每个传感器独立输出检测结果，最后在“决策层”做综合判断。

我个人习惯用决策级融合。为什么？因为它解耦性好。

举个例子：视觉输出“前方50米有行人，置信度0.9”，雷达输出“前方49.8米有目标，速度0.2m/s”。这两个结果各自独立，互不干扰。最后我们用一个融合逻辑，把这两个信息“对起来”，生成最终的目标。

这样做的好处很明显：

1. 模块独立：视觉和雷达可以各自升级，互不影响
2. 容错性强：一个传感器挂了，另一个还能顶住
3. 调试方便：哪个环节出问题，直接定位到对应传感器

1.3 课程整体架构与学习路径

这门课一共30章。我把它分成了四个阶段：

阶段	章节	核心内容
基础篇	1-5章	传感器原理、坐标系对齐、时间同步
核心篇	6-15章	目标检测、跟踪、决策级融合算法
实战篇	16-25章	代码实现、数据集处理、模型部署
进阶篇	26-30章	多传感器标定、故障诊断、功能安全

学习路径上，我建议你：

• 先看基础篇：别急着写代码。先把坐标系、时间戳这些“基本功”搞明白。我见过太多人，融合结果不对，最后发现是时间没对齐。
• 再啃核心篇：这部分是硬骨头。我会带着你手写一个决策级融合的demo，从零到一。
• 最后实战篇：用真实数据集跑一遍。嗯，这里要注意，真实数据和仿真数据差别很大，我会告诉你哪些坑不能踩。

1.4 为什么我选择决策级融合？

最后说点个人感受。

其实在工业界，决策级融合是最务实的选择。为什么？因为量产车对稳定性的要求远高于对精度的要求。你想想看，一个L2级别的辅助驾驶系统，如果因为传感器融合出问题，突然来个急刹车，用户会怎么想？

决策级融合的另一个好处是可解释性强。出了问题，你能清楚地知道是视觉误检了，还是雷达漏检了。这在功能安全认证中至关重要。

我记得有一次，客户投诉说车辆在高速上“幽灵刹车”。我们排查了三天，最后发现是视觉算法把路边的广告牌误识别成了车辆。如果是特征级融合，这个问题可能很难定位。但决策级融合下，我们直接看视觉的输出日志就找到了原因。

所以，这门课我会把重点放在工程落地上。不跟你讲太多花哨的理论，而是告诉你：

• 怎么设计融合逻辑
• 怎么处理传感器之间的冲突
• 怎么保证系统在极端情况下的安全

好了，导论就到这里。下一章，咱们正式开始——毫米波雷达的工作原理与数据特性。到时候我会带你看懂雷达的点云图，告诉你哪些点是“有用的”，哪些是“噪声”。

咱们下章见。