第1章课程导论

一、课程导论：多传感器融合的时代背景、时空标定与同步的核心挑战、课程目标与学习路径

说实话，这几年做自动驾驶和机器人项目，我最大的感受就是——单一传感器永远不够用。

你想想看，摄像头能看清颜色和纹理，但一到晚上或者逆光，基本就废了。激光雷达测距准，但下雨天点云全是噪点，而且它分不清红绿灯。毫米波雷达不怕雨雾，可它分辨率低，连行人跟路牌都分不清。

我在2020年做过一个园区物流项目，当时只用了摄像头做定位。结果下午三点阳光斜射，车道线检测直接崩了，车子差点撞上路沿。从那以后，我所有的方案都强制要求至少三种传感器互为备份。

核心观点：多传感器融合不是锦上添花，而是安全冗余的刚需。没有融合，L4级自动驾驶就是空中楼阁。

现在的趋势很明显：

但问题来了——这些传感器各自有各自的时间轴和空间坐标系。你摄像头看到的前方障碍物，在激光雷达坐标系里到底在哪？摄像头采集到图像的时刻，IMU的数据是同一时刻的吗？

嗯，这就是我们这门课要解决的核心问题。

我经常跟团队里的新人说：标定和同步，占了感知系统60%的坑。算法模型可以调，但标定错了，后面全是白费。

具体来说，挑战集中在三个方面：

外参标定：激光雷达和摄像头之间的旋转平移矩阵，差1厘米，30米外的目标就偏了30厘米。我在做Robotaxi项目时，就因为标定板角点提取差了半个像素，导致融合后的障碍物位置始终对不上——查了三天才发现是标定板不平整。
多传感器联合标定：4个摄像头+2个激光雷达+1个IMU，你要同时解算它们之间的相对位姿。这本质上是一个大规模非线性优化问题，很容易陷入局部最优。
在线标定 vs 离线标定：离线标定精度高，但车辆跑起来后振动会导致外参漂移。在线标定能实时修正，但计算量大，而且需要场景特征丰富。

硬件触发 vs 软件同步：硬件触发精度能到微秒级，但需要额外电路。软件同步靠PTP或NTP，延迟抖动大。我见过一个项目用NTP同步摄像头和激光雷达，结果时间戳差了20毫秒——高速行驶时相当于位置误差半米多。
不同频率的对齐：摄像头30fps，激光雷达10Hz，IMU 200Hz。你怎么把这三者的数据对齐到同一个时间戳上？插值？还是用最近邻？
延迟补偿：传感器从采集到数据输出，本身就有延迟。摄像头曝光时间、激光雷达旋转一周的时间、IMU的滤波延迟——这些都要精确建模。

避坑提醒：我曾经在一个项目中忽略了摄像头卷帘快门效应，导致高速运动时图像和点云的时间戳偏差达到30ms。后来用IMU插值补偿才解决。记住：时间同步的精度，直接决定了融合的上限。

这门课不讲虚的。我的目标是让你学完后，能独立搭建一套完整的多传感器时空标定与同步系统。

模块	具体能力	对应章节
空间标定	手写激光雷达-摄像头外参标定代码，理解PnP、ICP、非线性优化	第2-4章
时间同步	实现硬件触发同步、PTP软件同步、时间戳插值与延迟补偿	第5-7章
联合标定	多传感器联合标定（激光+相机+IMU），使用图优化框架	第8-9章
工程实践	在ROS2中搭建标定与同步节点，处理真实传感器数据	第10-12章

我的建议：每章学完后，一定要动手跑代码。光看公式永远学不会标定。我当年就是对着论文手推雅可比矩阵，才真正理解了优化过程。

我个人习惯把学习分成三个阶段：

你可能会问：需要什么基础？

如果这些你都有，那直接开始吧。如果还不太熟，我建议先花一周补一下坐标系变换和相机模型——这部分我后面也会快速过一遍。

下面这张图，是我梳理的这门课的核心逻辑。你可以把它当作整个课程的地图：

说白了，整个课程就是一条线：从传感器原始数据出发，经过时间同步和空间标定，最终输出时空对齐后的融合数据。每一层都有对应的算法和工程技巧，我会带着你一步步走通。

最后说一句：标定和同步这件事，没有捷径。但只要你把基础打牢，后面做融合、做感知，都会顺很多。我见过太多团队在标定上省时间，结果后面花十倍的时间去排查问题——得不偿失。