多摄像头融合感知系统
📘 设计手册 · 30章
01
课程导论：多摄像头融合感知系统概述
应用场景
自动驾驶
安防监控
课程目标
学习路径
02
摄像头成像原理
小孔成像模型
透镜畸变
CMOS/CCD
03
图像坐标系与变换
像素坐标系
图像坐标系
相机坐标系
世界坐标系
04
单目相机标定
张正友标定法
棋盘格角点
内参矩阵
畸变系数
05
多相机系统标定
联合标定原理
外参矩阵
全局坐标系统一
06
图像预处理
直方图均衡化
高斯滤波
中值滤波
图像增强
07
特征提取基础
Harris角点
SIFT特征
ORB特征
特征描述子
08
特征匹配与对极几何
暴力匹配
FLANN匹配
基础矩阵
本质矩阵
09
立体视觉基础
双目立体视觉
视差计算
三角测量法
10
深度估计与点云生成
视差图转深度
点云生成
点云滤波
下采样
11
多视角几何
三焦点张量
多视图重建
光束法平差(BA)
12
目标检测基础
YOLO系列
Anchor机制
NMS
13
多相机目标检测
跨相机匹配
ReID特征
全局ID分配
14
多目标跟踪
卡尔曼滤波
匈牙利算法
SORT/DeepSORT
15
传感器同步
硬件同步(PPS/Genlock)
软件同步
时钟漂移补偿
16
数据融合架构
前融合
后融合
特征级融合
17
BEV感知基础
鸟瞰图视角
IPM逆透视映射
BEV特征表示
18
Transformer在融合中的应用
Cross-Attention
可变形注意力
BEVFormer
19
多相机3D目标检测
FCOS3D
DETR3D
PETR系列
20
语义分割与全景分割
多相机语义分割
全景分割
Panoptic FPN
21
可行驶区域检测
语义分割可行驶区域
栅格地图生成
22
多相机融合SLAM
视觉SLAM基础
ORB-SLAM3多相机
全局优化
23
高精地图融合
HD Map要素提取
车道线检测
地图匹配与定位
24
系统标定与验证
标定场建设
重投影误差
精度验证
25
嵌入式部署
TensorRT优化
ONNX导出
量化与剪枝
边缘计算
26
实时性优化
流水线设计
异步处理
内存池管理
延迟分析
27
故障诊断与容错
相机故障检测
数据完整性校验
降级策略
28
系统集成与测试
硬件在环测试
实车路测
场景库构建
29
前沿趋势
端到端感知
大模型应用
神经辐射场(NeRF)
30
综合项目实战
从零搭建融合系统
数据集
训练评估部署