感知系统架构拆解
📘 30章 · 从入门到实战
01
感知系统总览
智能驾驶分级L0-L5 · 感知位置 · 检测/跟踪/分割/预测
02
传感器硬件基础
摄像头·激光雷达·毫米波·超声波·IMU+GPS
03
传感器标定
内参/外参 · Camera-LiDAR · 联合标定 · Apollo/ROS
04
坐标系与空间变换
世界/车辆/相机/像素坐标系 · 变换矩阵 · 刚体变换
05
图像基础与预处理
RGB/YUV/RAW · 滤波 · 直方图均衡 · 畸变校正
06
目标检测（2D）
HOG+SVM · Faster R-CNN · YOLO · SSD · NMS
07
目标检测（3D）
Mono3D · PointPillars · VoxelNet · 多模态融合
08
多目标跟踪MOT
SORT · DeepSORT · ByteTrack · 卡尔曼滤波 · ReID
09
语义分割
FCN · U-Net · DeepLab · BEV语义 · 全景分割
10
实例分割
Mask R-CNN · YOLACT · SOLO · 点云实例分割
11
车道线检测
Canny+Hough · LaneNet · Ultra-Fast · 曲线拟合
12
可行驶区域检测
语义分割 · 立体视觉 · BEV感知 · Free Space
13
交通标志与信号灯识别
TSR · TLR · YOLO优化
14
深度估计
单目/双目深度 · LiDAR补全 · 自监督
15
光流与运动估计
Lucas-Kanade · FlowNet · RAFT · 场景流
16
BEV感知
BEVFormer · LSS · Transformer · 时序融合
17
多传感器融合
前/后融合 · 特征级融合 · 注意力融合
18
时序融合与记忆机制
RNN/LSTM · GRU · 时序注意力 · 滑窗
19
Transformer在感知中的应用
ViT · DETR · DETR3D · PETR · Cross-Attention
20
端到端感知
UniAD · InterFuser · 可微分规划 · 联合优化
21
感知系统评估指标
mAP · mIoU · MOTA · ATE · FPS · 鲁棒性
22
数据集与标注
KITTI · nuScenes · Waymo · BDD100K · LabelImg
23
模型部署与优化
TensorRT · ONNX · 量化 · 剪枝 · Jetson/Orin
24
感知系统实时性设计
Pipeline · 异步 · 双缓存 · 零拷贝 · DMA
25
感知系统可靠性设计
冗余 · 降级 · 故障检测 · Failsafe · ISO 26262
26
感知系统仿真与测试
CARLA · SUMO · LGSVL · 场景生成 · OpenSCENARIO
27
量产车上的挑战
长尾问题 · Corner Case · 域适应 · OTA
28
感知与下游模块交互
预测→规划→控制 · Protobuf/ROS2 · 延迟预算
29
感知系统前沿技术
Occupancy Network · NeRF · 4D毫米波 · 事件相机
30
感知系统项目实战
轻量感知系统 · 代码架构 · 调试 · 性能调优