感知系统 · 从零搭建

📘 30章完整目录

01 感知系统概述

L0-L5分级传感器对比摄像头/激光雷达

02 坐标系与标定基础

世界/车辆/相机坐标系内参外参

03 相机成像原理

小孔成像透镜畸变 K矩阵

04 图像处理基础 (上)

OpenCV 颜色空间高斯/中值滤波

05 图像处理基础 (下)

Canny/Sobel 形态学操作

06 特征提取与匹配

Harris/Shi-Tomasi SIFT/SURF FLANN

07 视觉里程计 (VO) 基础

对极几何本质矩阵 PnP / ICP

08 立体视觉与深度估计

双目模型视差/深度 BM / SGBM

09 激光雷达原理与数据处理

TOF/三角法 PCL基础体素/统计滤波

10 点云配准

ICP (点对点/面) NDT 粗/精配准

11 点云分割与聚类

RANSAC地面分割欧几里得/DBSCAN

12 目标检测基础 (2D)

Haar+Adaboost HOG+SVM Anchor/IOU/NMS

13 2D目标检测网络 (一)

YOLO v3/v5/v8 CIoU损失

14 2D目标检测网络 (二)

Faster R-CNN SSD MobileNet/ShuffleNet

15 3D目标检测 (基于视觉)

单目/双目3D BEV感知 (LSS/BEVFormer)

16 3D目标检测 (基于激光雷达)

PointNet++ VoxelNet PointPillars

17 多传感器融合 (前融合)

数据层融合特征层/BEV融合决策层融合

18 后融合与目标跟踪

卡尔曼滤波 (EKF) 匈牙利匹配 SORT/DeepSORT

19 语义分割

FCN / U-Net DeepLab ENet / BiSeNet

20 实例分割与全景分割

Mask R-CNN YOLACT Panoptic FPN

21 车道线检测

霍夫变换/滑动窗口 LaneNet / Ultra-Fast

22 可行驶区域分割

语义分割方法立体视觉/BEV

23 交通标志与信号灯识别

颜色分割+模板匹配 YOLO小目标

24 多任务学习与共享Backbone

YOLOP / HybridNets 特征共享/任务冲突

25 时序信息处理

光流 (LK/FlowNet) LSTM / 3D卷积 / Transformer

26 Occupancy Network

占用网格 Occupancy原理自动驾驶应用

27 端到端感知模型

Transfuser / NEAT 端到端 vs 模块化

28 感知系统评估指标

mAP / Recall / FPS ATE / RPE

29 数据集与仿真环境

KITTI / nuScenes / Waymo CARLA / SUMO

30 感知系统部署与优化

TensorRT / ONNX INT8/FP16量化 Jetson/地平线