BEV 传感器融合
嵌入式系统 · 30 章
🚀 从感知到部署
1
01
BEV感知概述
从传统2D感知到BEV视角的演进，BEV在自动驾驶中的核心优势。
2
02
传感器基础
摄像头、激光雷达、毫米波雷达、超声波雷达的工作原理与数据特点。
3
03
坐标系与标定
车辆坐标系、传感器坐标系、世界坐标系，以及传感器联合标定方法。
4
04
时间同步机制
多传感器硬触发与软触发方案，时间戳对齐与插值算法。
5
05
空间对齐技术
基于外参的投影变换，BEV网格映射与插值。
6
06
图像特征提取
基于CNN/Transformer的2D图像特征提取网络（ResNet、Swin Transformer）。
7
07
点云特征提取
PointNet++、VoxelNet、PointPillars等3D点云特征提取方法。
8
08
视角转换（LSS）
Lift-Splat-Shoot方法详解，深度分布估计与视锥点云生成。
9
09
视角转换（Transformer）
基于Cross-Attention的2D到BEV特征映射（如BEVFormer）。
10
10
BEV特征融合
早期融合、晚期融合与特征级融合的对比与选择。
11
11
时序融合
基于GRU/LSTM的时序BEV融合，以及基于注意力机制的时序建模。
12
12
BEV目标检测
CenterPoint、TransFusion等基于BEV的3D目标检测算法。
13
13
BEV语义分割
BEV视角下的道路、车道线、可行驶区域分割。
14
14
多任务学习
在BEV特征上同时进行检测、分割、跟踪的多任务头设计。
15
15
嵌入式平台概述
NVIDIA Jetson、TI TDA4、地平线征程系列等平台对比。
16
16
模型量化与压缩
INT8量化、知识蒸馏、剪枝在BEV模型上的应用。
17
17
TensorRT部署
BEV模型在Jetson上的TensorRT加速与优化技巧。
18
18
ONNX与模型转换
从PyTorch到ONNX再到TensorRT的完整部署流程。
19
19
嵌入式推理框架
Tengine、NCNN、MNN在BEV模型上的适配与性能对比。
20
20
内存与带宽优化
BEV模型中高分辨率特征图的内存管理策略。
21
21
延迟与吞吐量
端到端BEV感知管道的延迟分析与流水线优化。
22
22
数据采集与标注
BEV视角下的多传感器数据采集方案与标注工具。
23
23
数据增强
针对BEV模型的几何增强、传感器模拟增强与对抗增强。
24
24
仿真与回放
基于CARLA、AirSim的BEV感知仿真环境搭建。
25
25
评估指标
BEV感知的mAP、NDS、ATE等评估指标详解。
26
26
经典方案解析
Tesla BEV方案、Nvidia Drive方案、华为ADS方案对比。
27
27
开源项目实战
BEVDet、BEVDepth、BEVFormer等开源代码解读与复现。
28
28
端到端自动驾驶
从BEV感知到规划控制的端到端模型架构。
29
29
安全与冗余
BEV感知系统的故障检测、降级策略与功能安全设计。
30
30
未来趋势
Occupancy Network、神经辐射场（NeRF）在BEV中的新应用。