第三节：传感器时间戳同步——Camera、LiDAR、Radar的对齐与插值
好，咱们接着聊。上一节讲了自车运动补偿，那有个前提——你得知道每个传感器数据到底是在哪个时刻采集的。说白了，时间戳对齐是这一切的基础。我见过不少团队，算法模型调得漂漂亮亮，一上路就崩，查到最后发现是时间戳没对齐。
3.1 为什么时间戳会不同？
你想想看，Camera、LiDAR、Radar这三个传感器，工作原理完全不同。
- Camera：曝光需要时间，一般是10-30ms。曝光结束才生成一帧图像。
- LiDAR：旋转扫描，一个点云帧是360°扫描完才完整。比如64线激光雷达，一帧可能要100ms。
- Radar：发射电磁波，接收回波，处理速度相对快，但数据输出频率可能不稳定。
每个传感器都有自己的时钟，硬件触发方式也不一样。有的用PPS同步，有的靠网络时间协议。嗯，这里要注意——即使都用同一个GPS授时，不同传感器的处理延迟也会导致时间戳偏差。
核心问题：三个传感器采集的是同一时刻的场景吗？答案往往是否定的。差个几十毫秒，对于高速运动的车辆来说，目标位置可能已经偏移了好几米。
3.2 时间戳对齐的两种思路
我个人习惯把对齐方法分成两类：硬同步和软同步。
3.2.1 硬同步
硬件层面解决。所有传感器共用一个时钟源，比如GPS的PPS信号。Camera的曝光时刻、LiDAR的旋转角度、Radar的发射时刻，都打上统一的时间戳。这种方法精度最高，但需要硬件支持，改造成本也高。
我在项目中遇到过，某款Radar不支持外部触发，只能靠软件打时间戳。那硬同步这条路就走不通了。
3.2.2 软同步
软件层面做对齐。每个传感器各自记录时间戳，然后我们通过插值或外推，把不同时刻的数据对齐到同一个参考时刻。
说白了，就是找一个基准时间，把其他传感器的数据“挪”到那个时间点上。
3.3 插值方法详解
软同步的核心就是插值。我常用的方法有三种，看场景选。
| 方法 | 适用场景 | 精度 | 计算量 |
|---|---|---|---|
| 最近邻插值 | 低帧率、目标运动慢 | 低 | 极低 |
| 线性插值 | 中等帧率、匀速运动 | 中 | 低 |
| 样条插值 | 高帧率、非匀速运动 | 高 | 中 |
3.3.1 最近邻插值
最简单粗暴。找时间戳最接近的那个数据直接用。比如LiDAR帧在t=100ms，Camera帧在t=105ms，那就直接用Camera的t=105ms数据。
我曾经在低速泊车场景用过这个方法，效果还行。但高速场景千万别这么干，误差太大。
3.3.2 线性插值
假设目标在两帧之间做匀速运动。已知t1和t2时刻的目标位置，求t时刻的位置：
// 伪代码示例
function linearInterpolate(pos1, t1, pos2, t2, t_target):
ratio = (t_target - t1) / (t2 - t1)
pos_target = pos1 + ratio * (pos2 - pos1)
return pos_target
这个方法在大多数场景下够用了。我建议你优先用这个，简单可靠。
3.3.3 样条插值
如果目标运动轨迹比较曲折，比如急转弯、急刹车，线性插值就不太准了。这时候可以用三次样条插值，拟合出更平滑的运动轨迹。
嗯，这里要注意——样条插值需要至少4个历史帧，计算量也大一些。我一般只在后处理或离线标定时用，在线推理很少用。
我的经验：实际工程中，线性插值+运动补偿的组合，已经能覆盖90%的场景。别一上来就上复杂方法，先跑通再优化。
3.4 避坑指南
我曾经踩过一个坑，分享给你。
有一次做多传感器融合，Camera和LiDAR的时间戳明明只差了2ms，但目标位置偏差却很大。查了半天才发现——Camera的时间戳是曝光开始时刻，LiDAR的时间戳是扫描结束时刻。这两个时刻差了整整一个曝光周期+扫描周期。
所以，一定要搞清楚每个传感器时间戳的定义：
- Camera：曝光开始？曝光结束？还是帧传输完成？
- LiDAR：扫描开始？扫描结束？还是每个点都有自己的时间戳？
- Radar：发射时刻？接收时刻？还是数据处理完成时刻？
警告：不同厂家的传感器，时间戳定义可能完全不同。拿到传感器第一件事，就是读文档确认时间戳含义。别想当然。
3.5 工程实践建议
最后，给你几个实操建议：
- 统一时间基准：所有传感器的时间戳都转换到同一个时钟域，比如系统启动后的毫秒数。
- 记录原始时间戳：不要只记录对齐后的时间，原始时间戳也要保留，方便排查问题。
- 做时间戳漂移检测：如果某个传感器的时间戳突然跳变，说明可能出了问题，要及时报警。
- 预留缓冲区：插值需要历史数据，所以内存里要保留最近几帧的数据。
好了，这一节就到这里。时间戳对齐看着简单，但做扎实了，后面的融合、跟踪才能稳。下一节我们聊聊动态目标的状态估计，那才是真正考验算法功底的地方。