一、课程导论与传感器基础

1.1 多传感器融合：到底在解决什么问题？

各位同学好，我是这门课的主讲。咱们开门见山——多传感器融合，说白了就是让机器「长出多种感官」。

你想想看，人为什么要有眼睛、耳朵、皮肤？因为单一感官会骗人。我闭上一只眼，你让我去拿桌上的水杯，我大概率会抓空。机器也一样。摄像头在黑夜就是瞎子，激光雷达遇到大雨就抓瞎，IMU用久了会漂移。

多传感器融合，就是把这些传感器的「长处」组合起来，让它们互相补位。我习惯把它比作一个团队：有人负责远距离侦察（激光雷达），有人负责近距离避障（超声波），有人负责看红绿灯（摄像头），还有人负责感知自身姿态（IMU）。

嗯，这里要注意：融合不是简单的「1+1=2」。我在项目中遇到过，把GPS和IMU数据直接平均，结果定位精度反而更差了。为什么？因为两个传感器的误差模型完全不同，直接平均等于把噪声也平均进去了。

1.2 发展历程：从「拼凑」到「智能」

我入行那会儿，多传感器融合还是个「土办法」。

第一阶段：硬拼凑时代（1990s-2000s）
说白了就是「哪个传感器准就用哪个」。比如GPS信号好就用GPS，信号丢了就切到IMU。这种切换式融合，我当年在无人机项目里用过，结果就是——每次切换都会出现一个「跳变」，飞控直接抖三抖。

第二阶段：概率融合时代（2000s-2010s）
卡尔曼滤波开始普及。我记得第一次在嵌入式板子上跑扩展卡尔曼滤波（EKF），算力不够，一个周期要算50ms，而传感器数据10ms就来一次。后来我优化了矩阵运算，把计算时间压到了8ms。嗯，这就是嵌入式工程师的日常——在算力和精度之间找平衡。

第三阶段：深度学习时代（2015s-至今）
现在大家玩的是端到端融合。摄像头和激光雷达的数据直接喂进神经网络，让模型自己学怎么融合。但我个人觉得，纯数据驱动的方法有个坑——它不告诉你「为什么这么融合」。我在自动驾驶项目里见过，模型在训练集上表现完美，一到下雨天就乱来。所以，我建议还是要保留一些物理模型的约束。

阶段	代表方法	我踩过的坑
硬拼凑	切换式、加权平均	切换瞬间数据跳变，系统震荡
概率融合	卡尔曼滤波、粒子滤波	算力不够，实时性差
深度学习	端到端融合、注意力机制	泛化能力差，极端场景失效

1.3 应用领域：哪里需要「多感官」？

自动驾驶：这是最典型的场景。我曾经参与过一个L4级项目，要求「在任何天气、任何光照下都能感知」。摄像头在隧道出口会过曝，激光雷达在雪天会误检雪花为障碍物。最后我们用了「摄像头+激光雷达+毫米波雷达」的三重冗余，才勉强达到安全要求。

机器人：我做过一个仓储机器人项目。室内没有GPS，全靠IMU+轮式里程计+激光雷达做SLAM。有一次机器人撞到了货架，排查了半天，发现是轮子打滑导致里程计数据错误，而IMU又没有及时修正。从那以后，我养成了一个习惯：任何融合系统都要加一个「异常检测」模块。

IoT：智能家居里的温湿度传感器、人体红外传感器、光照传感器，其实也是一种融合。我家里装了一个「智能窗帘」，它融合了光照传感器和时钟——白天光照强就自动拉上，但如果是下午5点以后，即使光照强也不拉，因为可能是夕阳。这就是最简单的规则融合。

1.4 常见传感器：它们各自有什么「脾气」？

这部分我尽量讲得接地气一些。每种传感器都有它的「性格」，你摸透了，融合起来就顺手了。

IMU（惯性测量单元）

IMU由加速度计和陀螺仪组成。它的特点是：短期精度高，长期会漂移。我做过一个测试，把IMU放在桌上不动，10分钟后位置漂了2米。所以IMU不能单独用，必须配合其他传感器做修正。

避坑指南：我曾经在选型时忽略了IMU的「零偏稳定性」。结果在静止状态下，陀螺仪输出一直在0.1°/s左右波动，积分出来的角度误差越来越大。后来换了工业级的IMU，零偏稳定性做到0.01°/s，问题才解决。

摄像头

摄像头是「信息量最大」的传感器，但也是最「娇气」的。它怕暗、怕强光、怕雾、怕雨。我习惯把摄像头比作「人眼」——白天看得清，晚上就抓瞎。

但摄像头有一个IMU和激光雷达都没有的优势：能识别语义信息。比如红绿灯的颜色、路牌的文字、行人的手势。这些信息，激光雷达是看不到的。

激光雷达

激光雷达的优点是：直接输出3D点云，精度高，不受光照影响。但它怕什么？怕雨、怕雪、怕灰尘。我在一个矿区项目里用过激光雷达，扬尘一多，点云里全是噪点，根本没法用。

另外，激光雷达的「角分辨率」很重要。16线的激光雷达，在100米外只能看到稀疏的几条线，根本分辨不出行人。我建议至少用32线起步。

毫米波雷达

毫米波雷达是「全天候选手」。它不怕雨、不怕雾、不怕灰尘。但它有个致命弱点：横向分辨率低。它只能告诉你「前方有障碍物」，但说不清这个障碍物是车还是路边的护栏。

我在高速公路上测试过，毫米波雷达对静止目标的检测能力很差。因为雷达的多普勒效应只能检测运动目标，静止目标会被当作「地面杂波」滤掉。所以，融合时一定要把毫米波雷达和摄像头搭配使用。

超声波

超声波传感器，说白了就是「倒车雷达」。它成本低、功耗低，但探测距离短（一般3-5米），精度也一般。它的优势是：近距离盲区小。激光雷达和摄像头在离车0.5米以内基本是盲区，但超声波可以覆盖。

我做过一个自动泊车项目，就用4个超声波传感器做近距离障碍物检测。但要注意，超声波对「软性物体」检测效果差——比如泡沫、布料，声波会被吸收，回波很弱。

传感器	优势	劣势	我常用的场景
IMU	高频、短期精度高	长期漂移	姿态估计、航位推算
摄像头	语义信息丰富	受光照影响大	目标识别、车道线检测
激光雷达	3D点云、精度高	怕雨雪、成本高	SLAM、障碍物检测
毫米波雷达	全天候、测速准	横向分辨率低	自适应巡航、盲区监测
超声波	成本低、近距离盲区小	距离短、怕软物体	自动泊车、近距离避障

1.5 本章小结

这一章我们聊了多传感器融合的「是什么、为什么、怎么用」。核心就三句话：

• 融合不是堆硬件，而是让传感器「互补」
• 每种传感器都有「脾气」，你得摸透它
• 从简单场景开始，逐步增加复杂度

下一章，我会带大家深入卡尔曼滤波——这个多传感器融合里最经典的算法。我会用代码一步步演示，怎么把IMU和GPS的数据融合在一起。到时候见。

---

公众号:蓝海资料掘金营，微信deep3321