🚗 特征级融合
ADAS感知
📘 30章 · 实战目录
K12 风格
01
课程导论：为什么需要特征级融合？ADAS感知的痛点与挑战。
导学
痛点
02
传感器基础：摄像头、毫米波雷达、激光雷达的工作原理与数据特性。
传感器
雷达
03
数据对齐：时间戳同步与空间坐标变换（外参标定基础）。
标定
同步
04
特征提取基础：基于CNN的图像特征提取（ResNet、MobileNet）。
CNN
Backbone
05
点云特征提取：PointNet++与VoxelNet在BEV视角下的应用。
点云
BEV
06
特征级融合架构：Early Fusion vs Late Fusion vs Deep Fusion。
架构
对比
07
注意力机制入门：SENet、CBAM在特征通道与空间上的加权。
注意力
SE
08
跨模态注意力：Transformer在图像与点云特征交互中的应用。
Transformer
跨模态
09
BEV感知范式：从IPM到LSS（Lift-Splat-Shoot）的转变。
BEV
LSS
10
特征对齐模块：可变形卷积（DCN）用于特征图重采样。
DCN
对齐
11
多尺度特征融合：FPN与BiFPN在检测任务中的实践。
FPN
BiFPN
12
时序融合：利用LSTM或3D卷积融合连续帧特征。
时序
LSTM
13
不确定性估计：在融合权重中引入Aleatoric Uncertainty。
不确定性
鲁棒
14
鲁棒性增强：针对传感器故障的缺失模态处理策略。
缺失模态
故障
15
对抗鲁棒性：特征级防御方法（特征去噪、对抗训练）。
对抗
防御
16
数据增强：针对多模态数据的CutMix与Mix3D策略。
增强
Mix3D
17
模型轻量化：知识蒸馏与量化感知训练在融合模型中的应用。
轻量化
蒸馏
18
部署挑战：TensorRT与ONNX在融合模型上的优化。
部署
TensorRT
19
实战项目1：基于KITTI数据集的3D目标检测（PointPillars）。
项目
KITTI
20
实战项目2：基于nuScenes的BEV融合感知（BEVFormer）。
nuScenes
BEVFormer
21
实战项目3：恶劣天气下的鲁棒融合（使用DENSE数据集）。
恶劣天气
DENSE
22
实战项目4：多模态语义分割（MFNet与FuseNet）。
语义分割
MFNet
23
实战项目5：基于ROS的实时融合感知系统搭建。
ROS
实时
24
评价指标：mAP、NDS、ATE在融合感知中的计算。
指标
mAP
25
消融实验：如何设计实验证明融合的有效性。
消融
实验设计
26
开源框架解读：MMDetection3D与OpenPCDet的融合模块。
框架
MMDet3D
27
前沿论文精读：BEVFusion（MIT）与DeepFusion（Waymo）。
论文
BEVFusion
28
行业标准：ISO 26262对感知算法的功能安全要求。
功能安全
ISO
29
未来趋势：端到端融合与V2X协同感知。
趋势
V2X
30
课程总结与面试指南：常见问题与职业发展建议。
总结
面试
动手实战 · 特征级融合 · 鲁棒ADAS