Transformer 端到端自动驾驶

📘 实战课程 · 30章
01 课程导论与预备知识
自动驾驶发展史 端到端方案对比 Transformer基础 环境配置
进入章节 →
02 注意力机制详解
Self-Attention Multi-Head 位置编码 代码实现
进入章节 →
03 Transformer架构拆解
Encoder-Decoder LayerNorm 残差连接 PyTorch搭建
进入章节 →
04 视觉Transformer (ViT)
图像分块 Patch Embedding Class Token BEV感知
进入章节 →
05 BEV感知基础
坐标系转换 IPM逆透视 LSS方案 Lift-Splat
进入章节 →
06 BEVFormer详解
Temporal Self-Attn Spatial Cross-Attn 可变形注意力 Grid Mask
进入章节 →
07 端到端框架总览
感知-预测-规划 UniAD InterPath OccNet
进入章节 →
08 多模态融合
Camera-LiDAR TransFuser 特征对齐 模态缺失
进入章节 →
09 时序建模
RNN/LSTM Transformer时序 ST-Attention 轨迹解码
进入章节 →
10 轨迹预测
目标意图估计 多模态轨迹 WTA / NLL损失 场景约束
进入章节 →
11 决策规划基础
A* / Dijkstra Imitation Learning ChauffeurNet Conditional IL
进入章节 →
12 基于Transformer的规划器
PlanT Trajectory Transformer Cost Volume 可微分优化
进入章节 →
13 强化学习入门
MDP / Bellman Policy Gradient PPO算法 RL规划
进入章节 →
14 模仿学习进阶
DAgger算法 Behavior Cloning 因果混淆 数据增广
进入章节 →
15 数据闭环
数据采集标注 自动标注 场景挖掘 难例挖掘
进入章节 →
16 仿真与评测
CARLA仿真器 nuScenes/Waymo OpenScene 闭环评测
进入章节 →
17 模型部署基础
ONNX导出 TensorRT加速 INT8量化 端侧推理
进入章节 →
18 C++部署实战
LibTorch C++ 自定义算子 ROS2集成 实时性优化
进入章节 →
19 安全与鲁棒性
对抗攻击 FGSM/PGD 鲁棒训练 不确定性估计 MC Dropout
进入章节 →
20 可解释性
Attention Rollout Grad-CAM 特征可视化 决策逻辑
进入章节 →
21 分布式训练
DataParallel DistributedDataParallel 混合精度AMP 梯度累积
进入章节 →
22 大规模训练技巧
Cosine/Warmup 权重初始化 Dropout Stochastic Depth
进入章节 →
23 模型压缩
知识蒸馏 剪枝 轻量化架构 MobileNet/TinyViT
进入章节 →
24 多任务学习
共享Backbone 任务Head PCGrad/GradNorm 损失平衡
进入章节 →
25 场景理解
语义/实例/全景 Occupancy Network Occ3D 分割
进入章节 →
26 运动预测进阶
VectorNet/LaneGCN Social LSTM Scene Transformer 异构图
进入章节 →
27 端到端规划实战
BEV特征→轨迹 可微分规划器 闭环仿真 评估
进入章节 →
28 前沿论文精读
UniAD / VAD ST-P3 / InterPath OccNet BEVFormer v2
进入章节 →
29 项目实战
简化端到端系统 感知+预测+规划 CARLA验证 全流程
进入章节 →
30 课程总结与未来展望
长尾问题/泛化性 Foundation Model World Model 端到端+LLM
进入章节 →
📚 🔍 深度交流