Transformer 在自动驾驶中的落地实战 · 课程目录

01课程导论：为什么自动驾驶需要Transformer？

从CNN到Transformer的范式转移，课程目标与前置知识。

02Transformer核心原理回顾

Self-Attention机制详解，Multi-Head Attention，Positional Encoding，Encoder-Decoder架构。

03视觉Transformer (ViT) 基础

图像分块(Patch Embedding)，Class Token，ViT在自动驾驶中的定位。

04BEVFormer 原理与架构

什么是BEV（鸟瞰图）？BEVFormer的核心设计，Temporal Self-Attention的作用。

05BEVFormer 代码实战（一）

环境配置与数据准备，BEVFormer的模型结构代码解读。

06BEVFormer 代码实战（二）

训练流程与损失函数，评估指标（mAP, NDS）解析。

07DETR3D：3D目标检测的端到端方案

2D到3D的映射，Object Query的设计，与BEVFormer的对比。

08PETR：位置编码增强的3D检测

3D Position Embedding，PETR与DETR3D的异同。

09LSS (Lift-Splat-Shoot) 经典方法回顾

深度分布估计，Voxel Pooling，LSS与Transformer的结合。

10HDMapNet 与在线高精地图构建

Transformer在语义地图生成中的应用，VectorMapNet简介。

11Motion Transformer (MTR)

轨迹预测中的Transformer，Interactive Prediction，场景编码。

12Wayformer：Waymo的多模态预测模型

多模态输入融合，Scene-level Encoding。

13UniAD：端到端自动驾驶的集大成者

感知-预测-规划一体化，Query的流转机制。

14InterFuser：基于Transformer的决策与控制

多模态融合，安全驾驶策略。

15ST-P3：空间-时间特征学习的规划

Spatial-Temporal Feature Learning，可解释性规划。

16Transformer在点云处理中的应用

Point Transformer，Voxel Transformer，与稀疏卷积的对比。

17Occupancy Network 与 Transformer

占用网络基础，OccFormer，3D语义占用预测。

18数据闭环与Transformer

数据挖掘中的Transformer，场景描述与检索，自动标注。

19模型轻量化与部署

TensorRT部署Transformer，量化感知训练，NVIDIA TensorRT加速。

20多模态融合的Transformer

Camera-LiDAR-Radar融合，Cross-Attention机制，特征对齐。

21时序建模与记忆机制

Temporal Fusion，Memory Bank，长时序依赖建模。

22注意力机制的可视化与可解释性

Attention Map可视化，Grad-CAM在Transformer中的应用。

23分布式训练与大规模训练

FSDP，DeepSpeed，混合精度训练在Transformer中的应用。

24仿真与闭环测试

CARLA与nuScenes，Transformer模型在仿真中的评估，闭环测试指标。

25Transformer在泊车场景中的应用

环视鱼眼相机，BEV泊车感知，端到端泊车规划。

26Transformer在高速公路领航（NOA）中的应用

长距感知，变道决策，交互博弈。

27Transformer在城市场景中的应用

复杂路口处理，行人意图预测，无保护左转。

28模型鲁棒性与安全性

对抗攻击与防御，分布外检测（OOD），安全冗余设计。

29前沿趋势与未来展望

GPT与自动驾驶的结合，世界模型（World Model），Foundation Model。

30课程总结与项目实战

搭建一个简易的BEV感知+预测系统，课程回顾与进阶路线。