🚗 Occupancy 泛化提升
30章 · 复杂道路
🧭 友好色系
01
Occupancy网络基础：什么是3D Occupancy网络？为什么在自动驾驶中如此重要？与传统BEV感知的对比。
体素空间感知 · 从BEV到3D的范式跨越
02
数据表示与坐标系：体素(Voxel)表示法、世界坐标系与自车坐标系、时间戳对齐。
坐标系变换 · 时间同步基础
03
传感器融合入门：LiDAR点云与相机图像的融合策略、前融合与后融合的取舍。
多模态对齐 · 融合架构选择
04
经典网络架构解析：从MonoScene到BEVDet，再到OccFormer，核心模块拆解。
编码器 · 注意力 · 时序
05
损失函数设计：二元交叉熵、Dice Loss、Lovasz-Softmax，以及场景级别的长尾问题。
长尾分布 · 分割损失家族
06
复杂道路场景定义：城市峡谷、隧道、匝道、施工区域、极端天气（雨/雪/雾）。
corner case · 环境鲁棒性
07
泛化能力评估指标：mIoU、RayIoU、场景级IoU，以及我常用的“边缘案例召回率”。
细粒度评测 · 边缘召回
08
数据增强策略：几何增强（翻转、旋转）、光度增强（亮度、对比度）、CutMix与Mix3D。
3D增强 · 混合策略
09
域自适应基础：什么是域偏移？源域与目标域，无监督域自适应(UDA)的简单介绍。
迁移学习 · 分布对齐
10
对抗性域自适应：梯度反转层(GRL)、域判别器，如何让网络“忘记”源域特征。
对抗训练 · 特征混淆
11
自训练与伪标签：用高置信度预测作为伪标签，迭代优化模型。我踩过的坑。
半监督 · 置信度筛选
12
基于风格迁移的泛化：CycleGAN、StarGAN在传感器数据上的应用，让点云“换天”。
图像风格迁移 · 点云风格
13
时序信息利用：利用连续帧的时序一致性，提升单帧Occupancy的鲁棒性。
时序一致性 · 帧间约束
14
时序融合网络：BEVFormer中的时序注意力、LSS中的时序对齐。
注意力时序 · 对齐模块
15
多任务学习：同时预测Occupancy、运动流、语义，共享特征提升泛化。
共享编码器 · 多任务头
16
显式几何约束：引入深度估计、法向量估计，让Occupancy预测更“物理”。
几何先验 · 深度监督
17
隐式神经表示：NeRF与Occupancy的结合，用连续函数表示离散空间。
隐式场 · 连续 occupancy
18
大模型时代的Occupancy：CLIP、DINOv2等视觉基础模型如何赋能Occupancy。
视觉基础模型 · 特征迁移
19
高效部署与量化：模型剪枝、INT8量化，在Orin上跑实时Occupancy的经验。
边缘部署 · 量化加速
20
仿真数据生成：利用CARLA、Matterport3D生成多样化的Occupancy训练数据。
仿真器 · 数据多样性
21
闭环仿真测试：在仿真环境中验证Occupancy网络的泛化能力，发现Corner Case。
闭环测试 · 边缘场景
22
长尾场景挖掘：基于不确定性估计的主动学习，自动发现难例。
主动学习 · 不确定性
23
在线自适应：测试时训练(TTT)、测试时归一化，让模型在车上边跑边学。
在线适应 · TTT
24
模型集成与不确定性：Deep Ensemble、MC Dropout，量化预测置信度。
集成学习 · 置信度校准
25
可解释性分析：Grad-CAM、特征可视化，理解网络在复杂场景下“看”到了什么。
可视化 · 归因分析
26
边缘案例处理：对罕见物体（如动物、异形车）的Occupancy预测优化。
罕见类别 · 长尾优化
27
多模态对齐误差：LiDAR与相机外参标定误差对Occupancy的影响及鲁棒训练。
标定鲁棒 · 误差建模
28
联邦学习与隐私：在多个车队间协同训练，不共享原始数据，提升泛化。
隐私保护 · 分布式训练
29
行业落地案例：某头部Tier1在量产项目中的Occupancy泛化实战分享。
量产经验 · 工程实践
30
未来展望：Occupancy与端到端自动驾驶、世界模型的融合趋势。
世界模型 · 端到端