ACT 多模态感知融合技术手册
📚 30章 · 完全版
K12 色系
01
多模态感知概述
什么是多模态感知
ACT架构简介
多模态融合的核心挑战
02
传感器数据基础
摄像头
激光雷达
毫米波雷达
IMU
03
时间同步机制
硬件同步方案
软件同步方案
时间戳对齐策略
04
空间对齐与坐标变换
传感器坐标系
车辆坐标系
世界坐标系
外参标定原理
05
数据预处理
图像去畸变
点云滤波
雷达信号处理
IMU去噪
06
特征提取基础
CNN图像特征
PointNet点云特征
时序特征提取
07
早期融合方法
数据级融合
像素级对齐
特征拼接
08
中期融合方法
特征级融合
注意力机制
跨模态交互
09
后期融合方法
决策级融合
投票机制
贝叶斯融合
10
端到端融合模型
BEV感知
Transformer融合架构
多模态编码器
11
注意力机制详解
自注意力
交叉注意力
可变形注意力
12
Transformer在多模态中的应用
ViT
Swin Transformer
多模态Transformer
13
BEV感知技术
LSS方案
BEVFormer
统一BEV表示
14
目标检测融合
2D-3D检测融合
多模态锚点设计
NMS策略
15
语义分割融合
RGB-D分割
点云语义分割
跨模态蒸馏
16
目标跟踪融合
多模态关联匹配
卡尔曼滤波融合
轨迹管理
17
多模态SLAM
视觉-惯性SLAM
激光-视觉SLAM
因子图优化
18
传感器故障处理
故障检测
降级策略
冗余切换
19
数据增强与仿真
多模态数据增强
传感器仿真
域适应
20
模型压缩与部署
量化
剪枝
知识蒸馏
TensorRT部署
21
实时性优化
流水线设计
异步处理
GPU加速
22
评测指标
mAP
NDS
ATE
延迟·吞吐量
23
数据集与基准
nuScenes
Waymo
KITTI
Argoverse
24
多模态融合在自动驾驶中的应用
感知系统架构
典型方案对比
25
多模态融合在机器人中的应用
抓取
导航
人机交互
26
多模态融合在安防中的应用
行人重识别
异常检测
27
多模态融合在医疗中的应用
影像融合
手术导航
28
前沿趋势
大模型与多模态
NeRF与3D感知
世界模型
29
工程实践案例
从零搭建多模态感知系统
常见踩坑记录
30
未来展望
通用感知
具身智能
多模态基础模型