Occupancy网络核心原理与部署实战
🎯
30章 · 从入门到部署
1
01
Occupancy网络概述
什么是3D Occupancy？与BEV、点云分割的区别与联系
2
02
数据表示与坐标系
世界/自车/传感器坐标系；体素定义与分辨率；free/occupied/unknown
3
03
核心输入模态
相机、激光雷达、毫米波雷达；多模态融合挑战
4
04
经典Pipeline解析
多视图图像→3D体素特征→占据预测完整流程
5
05
2D到3D特征转换
LSS原理；深度估计与特征投影
6
06
Transformer应用
可变形注意力；3D位置编码；Query设计
7
07
OccFormer系列
基于Transformer的Occupancy；时空注意力
8
08
VoxelNet与点云支柱法
点云→体素特征；PointPillars简化思想
9
09
BEVFormer与Occ
BEV空间扩展到3D Occupancy；高度维度处理
10
10
纯视觉Occupancy
MonoScene、TPVFormer；无需激光雷达3D感知
11
11
时序融合
历史帧信息提升预测稳定性与精度
12
12
损失函数设计
二值交叉熵、Dice Loss、Focal Loss；场景级/体素级
13
13
评估指标
IoU、RayIoU、mIoU；语义与场景流评估
14
14
开放词汇Occupancy
CLIP+Occupancy；零样本3D场景理解
15
15
语义Occupancy
多类别预测与标签处理；知道是什么
16
16
场景流与运动预测
静态→动态场景流；端到端运动预测
17
17
自动驾驶应用
碰撞检测、可行驶区域、遮挡推理
18
18
机器人应用
导航、抓取、环境探索
19
19
模型轻量化
知识蒸馏、剪枝、量化感知训练
20
20
ONNX与TensorRT部署
模型导出、动态形状、FP16/INT8量化
21
21
CUDA算子优化
体素池化、稀疏卷积加速；TensorRT插件
22
22
嵌入式平台部署
Jetson、Snapdragon、地平线征程
23
23
数据标注与真值生成
点云标注、自动标注、仿真数据
24
24
常用数据集
nuScenes-Occupancy、SemanticKITTI、Waymo
25
25
训练技巧
体素级增强、学习率调度、长尾处理
26
26
可视化与调试
Open3D、Mayavi；错误分析
27
27
SOTA模型解析
Occ3D、SurroundOcc、OpenOccupancy
28
28
端到端自动驾驶
UniAD、VAD中的Occupancy角色
29
29
未来趋势
Occupancy与World Model；生成式AI
30
30
综合实战项目
从零搭建轻量级Occupancy网络，训练评估TensorRT部署