2、多传感器融合基础：传感器类型概述
各位同学好，我是老张。今天咱们聊聊多传感器融合的基础。说实话，这个领域我摸爬滚打了十几年，踩过的坑比走过的路还多。但别担心，我会把那些血泪教训都抖出来，让你们少走弯路。
先问大家一个问题：为什么我们要搞多传感器融合？
很简单，单一传感器都有短板。摄像头怕黑、怕逆光；雷达怕雨雾；激光雷达怕灰尘。你想想看，要是自动驾驶只靠摄像头，晚上开车不就等于闭着眼？所以，咱们得把各路传感器的优势结合起来。
2.1 传感器类型概述
先说说最常见的几种传感器。我个人习惯把它们分成四大类：
2.1.1 摄像头
摄像头是「眼睛」。它能提供最丰富的语义信息——颜色、纹理、形状。我在项目中遇到过，摄像头在白天表现极好，能识别行人、交通标志、车道线。但一到晚上或者隧道里，基本就废了。
摄像头主要分三类：
- 单目摄像头：成本低，但测距不准。说白了，它只能靠图像大小估算距离，误差很大。
- 双目摄像头：通过视差算距离，精度比单目好。但计算量大，而且基线长度限制了测距范围。
- 鱼眼摄像头：视角广，能看180度甚至更大。但边缘畸变严重，需要做校正。
避坑指南：我曾经在项目中只用单目摄像头做测距，结果在高速上误差超过30%。后来加了激光雷达才搞定。记住，摄像头适合做「识别」，不适合做「精确测距」。
2.1.2 雷达
雷达是「耳朵」。它用电磁波探测目标，不怕光线变化。我最早接触雷达是在军工项目里，那时候觉得这东西真神奇——大雾天也能看清前方车辆。
雷达的关键参数：
| 参数 | 说明 | 我的经验 |
|---|---|---|
| 工作频率 | 24GHz / 77GHz / 79GHz | 77GHz是目前主流，分辨率更高 |
| 探测距离 | 短距(30m) / 中距(150m) / 长距(250m+) | 长距雷达适合高速场景 |
| 视场角 | 水平±60° / 垂直±15° | 注意盲区，尤其是垂直方向 |
| 分辨率 | 角度分辨率1°~5° | 4D雷达能测高度，是趋势 |
嗯，这里要注意：雷达能测距离和速度，但分辨不出目标是什么。它知道「前方10米有个东西」，但不知道那是车还是人。所以需要摄像头来补这个短板。
2.1.3 激光雷达
激光雷达是「触觉」。它用激光束扫描环境，生成点云数据。精度极高，能到厘米级。我2018年做第一个L4项目时，用的还是64线机械式激光雷达，贵得离谱，一台就要几十万。
现在主流方案：
- 机械式：旋转扫描，360度视野。但体积大、寿命短、成本高。
- 固态式：没有旋转部件，靠光学相控阵或MEMS。体积小、成本低，但视场角有限。
- 混合固态：介于两者之间，目前最火。
我的建议：做HIL测试时，激光雷达的点云数据量很大。64线每秒能产生上百万个点。你想想看，处理这些数据需要多强的算力？所以，别一上来就上高线束，先搞清楚你的应用场景需要什么分辨率。
2.1.4 IMU
IMU是「平衡感」。它由加速度计和陀螺仪组成，测量物体的加速度和角速度。说白了，就是知道车在怎么动。
IMU有个致命问题——漂移。加速度计积分一次得速度，再积分一次得位置。但每次积分都会累积误差。我做过一个测试，只用IMU推算位置，10秒后误差就超过1米了。
所以，IMU通常和GPS配合使用。GPS提供绝对位置，IMU提供短时高精度运动信息。两者互补，效果才好。
2.2 融合层级
传感器数据怎么融合？这取决于你在哪个层级做融合。我把它分成三个层级：
2.2.1 数据级融合
也叫「原始数据融合」。就是把所有传感器的原始数据直接拼在一起处理。
举个例子：摄像头图像和激光雷达点云，在像素级别对齐。每个像素对应一个深度值。这种融合信息最完整，但计算量也最大。
我在项目中遇到过，数据级融合对时间同步要求极高。摄像头30fps，激光雷达10fps，雷达20fps。怎么对齐？我曾经因为时间戳没对齐，导致融合结果出现重影，排查了整整两天。
2.2.2 特征级融合
先对每个传感器提取特征，再融合这些特征。比如，摄像头提取车道线、行人轮廓；激光雷达提取障碍物边界。然后把这些特征放在一起做匹配。
这种方案计算量适中，是目前的主流。我建议初学者先从特征级融合入手，容易上手，效果也不错。
2.2.3 决策级融合
每个传感器独立做决策，最后投票。比如，摄像头说「前方有车」，雷达说「前方有车」，激光雷达也说「前方有车」。那好，三票通过，确认有车。
这种方案容错性好，一个传感器坏了不影响整体。但信息损失大，因为每个传感器只输出决策，不输出中间信息。
核心观点：融合层级越高，计算量越小，但信息损失越大。选哪个层级，取决于你的算力、实时性要求和传感器配置。
2.3 融合架构
说完融合层级，再聊聊融合架构。架构决定了数据怎么流动、处理在哪完成。
2.3.1 集中式融合
所有传感器数据都送到一个中央处理器。中央处理器做所有融合和决策。
优点：信息完整，算法简单（都在一个地方）。
缺点：中央处理器压力大，一旦挂了，整个系统瘫痪。而且布线复杂，所有传感器都要连到中央节点。
我记得2016年做的一个项目，用的就是集中式架构。中央处理器是一块高性能FPGA，跑得飞快。但散热问题搞得我们焦头烂额，最后加了液冷才搞定。
2.3.2 分布式融合
每个传感器都有自己的处理器，独立做局部融合和决策。最后把结果汇总到中央节点。
优点：可靠性高，一个节点坏了不影响其他。扩展性好，加传感器容易。
缺点：节点间需要通信，存在数据同步问题。而且每个节点都要有处理能力，成本高。
2.3.3 混合式融合
集中式和分布式的结合。部分传感器做局部融合，部分数据送到中央做全局融合。
这是目前最实用的方案。我现在的项目都采用混合式架构。摄像头和激光雷达做局部融合（特征级），雷达单独处理。最后中央节点做决策级融合。
实战建议：做HIL测试时，我建议先搭一个集中式原型，验证算法可行性。然后再根据性能瓶颈，逐步改成分布式或混合式。别一上来就搞分布式，调试起来太痛苦了。
2.4 小结
好了，这一章的内容就这些。总结一下：
- 传感器各有优劣，摄像头看语义、雷达看距离、激光雷达看形状、IMU看运动。
- 融合层级从低到高：数据级→特征级→决策级。选哪个看需求。
- 融合架构从集中到分布：集中式简单但脆弱，分布式可靠但复杂，混合式是折中。
下一章，我会带大家搭建第一个HIL测试环境。到时候咱们手把手操作，把今天学的理论用起来。有什么问题，欢迎在群里讨论。
我是老张，咱们下章见。
公众号:蓝海资料掘金营，微信deep3321