第1章同步采集概述

1、同步采集概述：为什么需要多摄像头同步？应用场景与核心挑战

大家好，我是你们的讲师。咱们直接开门见山——多摄像头同步采集，这玩意儿到底是个啥？

说白了，就是让多个摄像头在同一瞬间按下快门。你可能会问，这有什么难的？我让它们同时开始拍不就行了？

嗯，问题没那么简单。我当年刚入行时也这么想，结果在第一个自动驾驶项目里就栽了跟头。摄像头之间的时间差，哪怕只有几毫秒，都会让整个系统“看”到完全不同的世界。

想象一下，你面前有一辆时速60公里的车。如果两个摄像头采集时间差了10毫秒，这辆车在画面中的位置就会偏移大约17厘米。对于自动驾驶的障碍物检测来说，这个误差足以让决策系统做出错误判断。

我个人习惯把同步问题分成两类：

两者缺一不可。我在项目中遇到过，有的团队只做了时间同步，忽略了数据传输的延迟，结果图像到了处理器时已经“过时”了。

这是最苛刻的场景。一辆L4级自动驾驶车通常搭载6-12个摄像头。环视、前视、后视、侧视，每个摄像头都有自己的使命。

我记得有个项目，客户要求所有摄像头的时间偏差不超过1微秒。为什么这么严？因为车辆在高速行驶时，哪怕0.1度的角度误差，在100米外就会变成17厘米的位置偏差。你想想看，这对障碍物检测意味着什么。

核心指标：自动驾驶场景下，帧间抖动应控制在1个像素以内，对应时间精度通常在微秒级。

做3D重建的朋友应该深有体会。多视角立体视觉（MVS）依赖的是不同视角下同一时刻的图像。如果时间不同步，重建出来的物体就会变形。

我曾经帮一个做文物数字化的团队调试过。他们用8个相机围着佛像拍，结果重建出来的佛像脸是歪的。查了半天，发现是其中一个相机的触发延迟比其他的多了3毫秒。说白了，佛像在3毫秒内“动”了一下——其实是相机没同步。

避坑指南：我曾经在3D重建项目里吃过亏——用软件触发方式做同步，结果每次重建结果都不一样。后来改用硬件触发，问题才彻底解决。

安防场景对精度的要求相对低一些，但挑战在于摄像头数量多、分布广。一个大型园区可能有上百个摄像头，它们之间可能相隔几百米。

这里的关键不是微秒级同步，而是确保所有摄像头的时间基准一致。我建议使用PTP（精确时间协议）或者NTP来做网络同步。不过要注意，NTP的精度通常在毫秒级，对于需要精确关联多个视角的事件来说，可能不够用。

做多摄像头同步，说白了就是在跟三个东西较劲：

这三个问题，我当年在第一个FPGA项目里全遇到了。那时候我天真地以为，只要给所有摄像头同一个触发信号就万事大吉。结果发现，触发信号在PCB上的走线长度不同，到达每个摄像头的时间差了十几纳秒。嗯，纳秒级的误差在低速场景下可以忽略，但在高速自动驾驶里，这就是灾难。

注意：不要以为用了同一个时钟源就万事大吉。时钟树的延迟、PLL的锁定时间、甚至温度变化都会引入新的误差。我曾经在夏天调试一个户外系统，中午和晚上的同步精度差了整整一个数量级。

做同步方案之前，先问自己三个问题：

这三个问题决定了你的方案选择。我个人习惯，精度要求高、数量少的场景用硬件触发；数量多、分布广的场景用网络同步协议；两者兼顾的场景，那就得上FPGA了——这也是咱们这门课的重点。

好了，这一章先给大家打个底。下一章咱们会深入具体的同步方案，从最简单的软件同步开始，一步步讲到硬件触发和FPGA实现。到时候我会拿出我踩过的坑，一个一个给你们讲清楚。