01
多相机系统概述
多相机视觉融合的定义、应用场景（自动驾驶、机器人、安防）、系统架构总览。
概述架构
02
相机成像原理
针孔相机模型、坐标系转换（世界、相机、图像、像素）、内参与外参矩阵。
几何矩阵
03
相机标定基础
张正友标定法原理、棋盘格标定板制作、OpenCV标定流程与代码实现。
标定OpenCV
04
多相机标定与联合标定
多相机相对位姿估计、联合标定流程、标定精度评估方法。
联合标定精度
05
图像同步与时间戳对齐
硬件触发同步、软件时间戳对齐、PTP协议在相机同步中的应用。
同步PTP
06
图像预处理与增强
去畸变、直方图均衡化、多尺度Retinex算法、图像金字塔构建。
增强金字塔
07
特征提取与匹配
SIFT/SURF/ORB特征、特征匹配（暴力匹配、FLANN）、RANSAC剔除误匹配。
特征RANSAC
08
立体视觉基础
对极几何、本质矩阵与基础矩阵、视差与深度计算。
对极几何视差
09
双目立体匹配
局部匹配（SAD、NCC）、全局匹配（Graph Cut、SGM）、半全局匹配实战。
立体匹配SGM
10
多视图几何
三焦点张量、多视图重建、光束法平差（BA）原理。
多视图BA
11
多相机融合感知
鸟瞰图（BEV）生成、多视角特征融合、空间对齐与投影。
BEV融合
12
基于深度学习的多相机融合
Transformer在视觉融合中的应用、BEVFormer、LSS方案解析。
TransformerBEVFormer
13
多目标跟踪基础
卡尔曼滤波、匈牙利算法、SORT与DeepSORT跟踪器。
跟踪卡尔曼
14
多相机多目标跟踪
跨相机重识别（ReID）、轨迹关联、全局ID分配。
ReID跨相机
15
传感器时间同步与数据融合
IMU+相机融合、GPS+相机融合、扩展卡尔曼滤波（EKF）。
EKFIMU
16
视觉SLAM基础
ORB-SLAM3框架、关键帧选取、回环检测与图优化。
SLAMORB
17
多相机SLAM
多相机协同SLAM、分布式SLAM架构、视觉惯性里程计（VIO）。
协同SLAMVIO
18
点云生成与处理
深度图转点云、点云滤波（体素滤波、统计滤波）、点云配准（ICP）。
点云ICP
19
多相机三维重建
基于体素的融合、TSDF算法、神经辐射场（NeRF）简介。
TSDFNeRF
20
控制基础
PID控制原理、前馈控制、模型预测控制（MPC）入门。
PIDMPC
21
视觉伺服控制
基于位置的视觉伺服（PBVS）、基于图像的视觉伺服（IBVS）、混合方法。
PBVSIBVS
22
多相机视觉伺服
多视角约束下的控制律设计、协同控制策略、避碰与避障。
协同控制避障
23
硬件平台搭建
多相机选型（USB/CameraLink/GigE）、嵌入式平台（Jetson/FPGA）、同步触发电路设计。
硬件Jetson
24
实时通信与中间件
ROS2多相机节点管理、DDS通信、零拷贝传输优化。
ROS2DDS
25
多相机系统调试
可视化调试工具（rviz、Foxglove）、性能分析（延迟、吞吐量）、常见问题排查。
调试rviz
26
实战项目1：多相机全景拼接
从标定到实时拼接，构建多相机全景系统。
实战拼接
27
实战项目2：目标检测与跟踪
基于YOLOv8+DeepSORT的多视角融合检测跟踪。
YOLOv8DeepSORT
28
实战项目3：视觉引导机械臂抓取
手眼标定与视觉伺服控制，多相机引导抓取。
手眼标定抓取
29
实战项目4：自动驾驶环视感知
BEV感知与路径规划，多相机环视系统。
自动驾驶BEV
30
课程总结与前沿展望
技术瓶颈、未来趋势（事件相机、神经隐式表达）、学习资源推荐。
前沿事件相机