BEV与Occupancy联合训练实战

01

BEV感知概述

从2D视觉到BEV演进 · 核心优势 · LSS/Transformer/IPM方案对比

进入章节 →

02

Occupancy Network基础

什么是Occupancy · 与BEV关系 · 3D体素表示 · 语义占用预测

进入章节 →

03

环境搭建

Ubuntu+CUDA+PyTorch · MMDetection3D · nuScenes & Occ3D

进入章节 →

04

数据预处理

nuScenes格式解析 · BEV坐标变换 · 内外参标定 · 数据增强

进入章节 →

05

LSS原理详解

Lift-Splat-Shoot · 深度分布估计 · 视锥点云 · BEV池化

进入章节 →

06

LSS代码实战

模型结构拆解 · 深度网络 · Splat操作 · BEV特征生成

进入章节 →

07

Transformer BEV方案

Deformable Attention · BEVFormer · Temporal Self-Attention

进入章节 →

08

BEVFormer代码实战

核心模块实现 · 可变形注意力 · 时序融合 · 训练脚本

进入章节 →

09

Occupancy网络架构

3D卷积与3D UNet · Trilinear插值 · Head设计 · 多任务输出

进入章节 →

10

Occupancy损失函数

二值交叉熵 · Dice Loss · Focal Loss · 场景/体素级平衡

进入章节 →

11

联合训练策略

多任务学习 · 梯度平衡(GradNorm/Uncertainty) · 交替/联合

进入章节 →

12

数据加载器优化

自定义Dataset · BEV与Occupancy对齐 · 多进程 · 内存管理

进入章节 →

13

模型评估指标

BEV mAP/NDS · Occupancy IoU/mIoU · Ray-based Recall

进入章节 →

14

可视化工具

BEV鸟瞰图 · Occupancy体素渲染 · TensorBoard · WandB

进入章节 →

15

消融实验设计

基线建立 · 模块替换 · 控制变量 · 实验结果分析

进入章节 →

16

超参数调优

学习率调度 · 权重衰减 · Batch Size · Occupancy分辨率

进入章节 →

17

多模态融合

LiDAR+BEV · Radar引入 · 时序融合 · 传感器失效处理

进入章节 →

18

模型轻量化

知识蒸馏 · 剪枝 · 量化感知 · ONNX导出 · TensorRT

进入章节 →

19

分布式训练

DDP原理 · 多卡配置 · 梯度累积 · 混合精度AMP

进入章节 →

20

长尾问题处理

数据重采样 · 类别平衡损失 · 难例挖掘 · 数据合成

进入章节 →

21

开放场景泛化

域适应 · 风格迁移 · 仿真数据 · 跨数据集评估

进入章节 →

22

Occupancy时序建模

3D卷积时序融合 · LSTM/GRU · 光流引导传播

进入章节 →

23

BEV与Occupancy联合推理

端到端推理 · 后处理优化 · 实时性 · 延迟优化

进入章节 →

24

模型鲁棒性

对抗防御 · 噪声鲁棒 · 遮挡处理 · 极端天气适应

进入章节 →

25

工程化部署

C++接口 · TensorRT优化 · ONNX Runtime · 嵌入式

进入章节 →

26

项目实战1

nuScenes BEV检测 · Occupancy预测 · 联合训练完整流程

进入章节 →

27

项目实战2

自定义数据集标注 · 格式转换 · 微调 · 结果可视化

进入章节 →

28

前沿进展

OccFormer · VoxFormer · SurroundOcc · OpenOccupancy

进入章节 →

29

竞赛与Benchmark

nuScenes Challenge · Waymo · Occ3D · 参赛经验

进入章节 →

30

总结与展望

BEV+Occupancy趋势 · 端到端自动驾驶 · 世界模型

进入章节 →