🚗 感知系统 · 从零搭建实战

📘 30 章 · 完整目录
01感知系统概述
自动驾驶分级 L0-L5 · 感知角色 · 主流传感器 · 系统架构
02坐标系与标定基础
世界/车辆/相机/图像坐标系 · 标定意义 · 内参外参
03相机成像原理
小孔成像 · 透镜畸变 · 内参矩阵 · OpenCV标定实战
04激光雷达原理
机械/固态 · TOF & FMCW · 点云结构 · 联合标定
05毫米波雷达与超声波雷达
测距测速原理 · 超声波工作 · 多传感器融合必要性
06图像预处理
灰度化 · 直方图均衡 · 高斯/中值滤波 · Sobel/Canny
07点云预处理
体素/直方图/半径滤波 · 降采样 · RANSAC地面分割
08目标检测基础
任务定义 · IoU · NMS · mAP评估指标
09基于深度学习的2D目标检测
YOLO v3/v5/v8 · Anchor · 损失函数 · 轻量化部署
10基于深度学习的3D目标检测
PointPillars · VoxelNet · BEV检测 · CenterPoint
11语义分割
FCN · U-Net · DeepLab · BEV语义分割 · 车道线分割
12实例分割
Mask R-CNN · YOLACT · SOLO · 自动驾驶应用
13多目标跟踪 (MOT)
SORT · DeepSORT · 卡尔曼滤波 · 匈牙利匹配 · ID Switch
14车道线检测
霍夫变换 · 滑动窗口 · LaneNet · Ultra-Fast-Lane
15交通标志与信号灯识别
传统图像 · CNN分类 · YOLO检测应用
16可行驶区域分割
颜色空间 · 深度学习语义分割 · BEV可行驶区域
17深度估计
单目/双目深度估计 · 激光雷达投影 · 深度补全
18光流与运动估计
Lucas-Kanade · RAFT · 场景流 · 运动分割
19传感器时间同步
硬件同步 (PPS/PTP) · 软件同步 · 时间戳对齐 · 插值
20传感器空间同步
外参标定 · 手眼标定 · 多激光雷达 · Camera-Lidar
21多传感器融合策略
前/后融合 · 特征级融合 · Deep Fusion · BEV融合
22卡尔曼滤波与状态估计
标准/扩展/无迹卡尔曼 · 跟踪应用
23感知系统评估
离线/在线评估 · 闭环测试 · 仿真测试
24数据集与标注
KITTI · nuScenes · Waymo · ApolloScape · 标注工具
25模型训练与优化
数据增强 · 学习率调度 · 剪枝量化 · TensorRT部署
26感知系统工程化
ROS2 · 感知节点 · 消息定义 · DDS中间件
27感知系统实时性优化
CUDA加速 · TensorRT推理 · 算子融合 · 流水线
28感知系统故障诊断
传感器失效 · 标定漂移 · 模型退化 · 冗余设计
29感知系统安全与冗余
ISO 26262 · ASIL等级 · 冗余架构 · 安全监控
30综合实战项目
nuScenes感知系统搭建 · 数据读取到可视化 · 端到端Pipeline