🌱 BEV 感知 · 入门实战 嵌入式工程师
📘 30 章 · 从零到部署
01 BEV感知概述
什么是BEV感知、BEV在自动驾驶中的角色、为什么嵌入式工程师需要了解BEV。
02 坐标系与空间变换
车辆坐标系、相机坐标系、图像坐标系、坐标系转换基础。
03 相机模型与标定
针孔相机模型、内参与外参、张正友标定法简介。
04 嵌入式平台介绍
NVIDIA Jetson系列、地平线征程系列、算力与功耗权衡。
05 开发环境搭建
刷机与系统安装、CUDA/cuDNN/TensorRT安装、交叉编译工具链配置。
06 图像预处理
BGR与RGB转换、归一化、Resize与Letterbox、MIPI CSI摄像头驱动。
07 深度学习基础回顾
卷积神经网络、感受野、特征金字塔、轻量化网络(MobileNet/ShuffleNet)。
08 目标检测基础
Anchor机制、NMS、YOLO系列演进、在嵌入式上的部署考量。
09 BEV感知核心思想
IPM(逆透视映射)、LSS(Lift-Splat-Shoot)范式、Transformer在BEV中的应用。
10 LSS模型详解
深度分布估计、特征提升(Lift)、Voxel Pooling(Splat)、BEV特征生成。
11 BEVFormer模型简介
Temporal Self-Attention、Spatial Cross-Attention、Grid Mask。
12 数据集与标注格式
nuScenes数据集介绍、KITTI格式与nuScenes格式对比、标注工具概览。
13 数据加载与增强
BEV数据增强策略、时序数据加载、多模态数据对齐。
14 模型训练基础
PyTorch训练流程、混合精度训练、分布式训练(DDP)。
15 模型量化与压缩
PTQ(训练后量化)、QAT(量化感知训练)、剪枝与蒸馏。
16 TensorRT部署实战
ONNX导出、TensorRT引擎构建、动态shape处理。
17 BEV模型在Jetson上的部署
内存优化、多线程Pipeline、DLA加速。
18 多传感器融合
相机与激光雷达融合、相机与毫米波雷达融合、时间同步与空间同步。
19 BEV感知中的时序融合
时序信息的作用、循环结构(GRU/LSTM)在BEV中的应用、时序注意力。
20 Occupancy Network
从BEV到3D Occupancy、OccFormer、OpenOccupancy数据集。
21 端到端自动驾驶简介
UniAD、InterFuser、BEV与Planning的衔接。
22 模型评估与可视化
BEV可视化工具、mAP与NDS指标、误差分析。
23 嵌入式优化技巧
算子融合、内存池管理、异步推理、CPU-GPU流水线。
24 模型加密与保护
模型加密方案、TEE(可信执行环境)在边缘部署中的应用。
25 实际项目:车道线检测
基于BEV的车道线检测方案、LaneATT、CLRNet。
26 实际项目:可行驶区域分割
BEV视角下的语义分割、Swin Transformer在BEV分割中的应用。
27 实际项目:3D目标检测
BEV视角下的3D检测、CenterPoint、TransFusion。
28 实际项目:多任务模型
共享Backbone、多任务Head设计、损失函数平衡。
29 性能调优实战
Profiling工具使用、瓶颈分析、端到端延迟优化。
30 前沿趋势与总结
BEV感知的未来方向、世界模型、VLA(视觉语言动作模型)与BEV的结合。