多模态融合的BEV感知架构设计 · 课程目录

01BEV感知概述

从2D视角到BEV视角的演进 · 核心优势 · 典型应用场景（自动驾驶、机器人）

02传感器基础与数据特性

相机成像原理与图像特征 · 激光雷达点云特性 · 毫米波雷达与超声波雷达简介

03多模态数据预处理

图像去畸变与校正 · 点云滤波与降采样 · 时间戳同步与空间对齐（外参标定基础）

04BEV视角下的坐标系与变换

车辆坐标系 · 传感器坐标系 · 自车到BEV网格映射 · 逆透视映射(IPM)原理

05基于LSS的BEV特征构建

Lift-Splat-Shoot范式 · 深度分布估计 · 视锥点云生成 · Voxel Pooling操作

06基于Transformer的BEV特征构建

可变形注意力机制 · BEV Query设计 · Cross-Attention与Self-Attention

07多模态特征融合策略（前融合）

特征级融合（Add/Concat） · 注意力融合（Cross-Attention） · 门控融合机制

08多模态特征融合策略（后融合与中融合）

决策级融合 · 结果级NMS · 特征交互中融合（如BEVFusion）

09BEV感知中的时序融合

时序信息作用 · RNN在BEV中的应用 · 时序注意力 · 速度与运动补偿

10BEV目标检测（一）

基于CenterPoint检测头 · 热力图生成 · 目标属性回归（尺寸、朝向、速度）

11BEV目标检测（二）

基于DETR端到端检测 · 集合预测损失 · 匈牙利匹配算法在BEV中的应用

12BEV语义分割

BEV语义分割任务 · FCN与U-Net在BEV特征图上的应用 · 多类别与实例分割

13BEV车道线检测

车道线拓扑结构 · 参数曲线表示（多项式、贝塞尔） · 注意力机制在长距车道线应用

14BEV可行驶区域检测

可行驶区域定义 · 占用网格预测 · 动态与静态障碍物区分

15多模态BEV感知中的长尾问题

小目标检测（行人、锥桶） · 遮挡处理 · 夜间与恶劣天气下的鲁棒性

16BEV感知中的模型轻量化

知识蒸馏 · 模型剪枝 · 量化感知训练 · 轻量化Backbone（MobileNet, Swin-Tiny）

17BEV感知中的部署与工程化

ONNX导出 · TensorRT加速 · CUDA算子优化 · 嵌入式平台（Orin, Jetson）适配

18BEV感知中的数据增强

BEV空间数据增强（旋转、平移、翻转） · 点云与图像联合增强 · CutMix与MixUp

19BEV感知中的标签与标注

3D框标注规范 · 点云与图像联合标注 · 自动标注与伪标签技术

20BEV感知中的评估指标

mAP, NDS, ATE, ASE, AOE, AVE, AAE · nuScenes与Waymo评估标准

21经典论文精读（一）BEVDet

基于LSS的高效BEV检测器 · 架构解析 · 核心创新点 · 实验分析

22经典论文精读（二）BEVFormer

基于Transformer时空融合 · Temporal Self-Attention设计

23经典论文精读（三）BEVFusion

多模态融合BEV感知范式 · 特征对齐与融合策略

24经典论文精读（四）UniAD

端到端自动驾驶中的BEV感知 · 多任务联合学习

25经典论文精读（五）PETR

基于位置编码的3D感知 · 3D位置编码与Transformer结合

26BEV感知中的仿真与闭环测试

CARLA仿真器 · nuScenes在线评估 · 闭环测试中的BEV感知挑战

27BEV感知中的多任务学习

检测、分割、跟踪、预测联合训练 · 任务冲突与梯度平衡

28BEV感知中的未来趋势

端到端感知与规划 · 大模型在BEV中的应用 · NeRF与BEV结合 · Occupancy Network

29BEV感知项目实战（一）

基于nuScenes的BEV检测模型训练 · 数据加载器 · 模型训练与调参

30BEV感知项目实战（二）

模型部署与可视化 · BEV特征图可视化 · 检测结果BEV可视化 · 性能分析报告