01
课程导论与硬件基础
多摄像头系统概述、同步与融合概念、MIPI/USB/GMSL接口、模组选型要点
硬件导论
02
时钟同步原理
PTP(IEEE 1588)协议、硬件/软件时间戳、同步误差来源分析
时钟PTP
03
硬件触发同步
外部触发信号(GPIO/PWM)、多摄像头接线方案、延迟测量与补偿
触发硬件
04
软件同步机制
多线程同步(互斥锁/信号量/屏障)、时间戳对齐、帧率匹配策略
软件多线程
05
OpenCV多摄像头采集
VideoCapture多路并发、多线程采集框架、帧队列(生产者-消费者)
OpenCV采集
06
GStreamer管道同步
多路流处理、同步时钟设置、缓冲队列与延迟控制
GStreamer管道
07
ROS多摄像头驱动
CameraInfo与时间戳、多摄像头节点管理、message_filters话题同步
ROS驱动
08
图像时间戳对齐
系统时钟(gettimeofday/clock_gettime)、校正算法、亚帧级对齐
时间戳对齐
09
帧率控制与丢帧处理
固定/动态帧率策略、丢帧检测与重传机制
帧率丢帧
10
多摄像头标定基础
单目标定回顾、联合标定原理、外参矩阵计算
标定外参
11
联合标定工具使用
Kalibr工具链、MATLAB Stereo Calibrator、OpenCV stereoCalibrate
工具标定
12
标定板设计与检测
AprilTag/ChArUco、多摄像头同步检测、角点提取优化
标定板检测
13
图像畸变校正
径向/切向畸变模型、去畸变映射表、实时性能优化
畸变校正
14
立体视觉基础
对极几何、基础/本质矩阵、视差与深度计算原理
立体几何
15
双目立体匹配
SGBM/BM算法、视差图后处理(WLS滤波、左右一致性检查)
匹配SGBM
16
多视角立体匹配
三目及以上匹配、多基线融合、遮挡处理与置信度评估
多视角融合
17
图像融合基础
图像金字塔、拉普拉斯融合、多频段融合算法
融合金字塔
18
全景拼接
SIFT/SURF/ORB匹配、单应性矩阵、光束法平差、拼接缝消除
拼接全景
19
多摄像头色彩一致性
自动白平衡(AWB)同步、色彩校正矩阵(CCM)、LUT统一
色彩AWB
20
曝光与增益同步
自动曝光锁定、手动曝光统一、增益与噪声平衡
曝光增益
21
多摄像头数据流架构
零拷贝(DMA/共享内存)、环形缓冲区、Pipeline优化
架构零拷贝
22
嵌入式平台部署
Jetson/RK3588驱动、ISP Pipeline、硬件编解码同步
嵌入式Jetson
23
实时性优化
延迟分析(perf/ftrace)、中断绑定、CPU亲和性、RT内核
实时优化
24
同步误差测量
示波器测硬件延迟、软件时间戳精度、帧间抖动(Jitter)分析
测量误差
25
调试工具链
v4l2-ctl/media-ctl、GStreamer调试日志、ROS2诊断工具
调试工具
26
常见问题排查
帧不同步、图像撕裂、时间戳跳变、内存带宽瓶颈
排查问题
27
多摄像头系统测试
测试用例设计(静态/动态/光照)、自动化测试脚本
测试自动化
28
案例实战1：环视泊车系统
四摄像头全景拼接与同步
实战环视
29
案例实战2：多视角3D重建
六摄像头同步采集与深度估计
实战3D重建
30
课程总结与进阶方向
多传感器融合(Camera+LiDAR+IMU)、事件相机、车路协同/元宇宙
总结进阶