1、多模态感知概述：什么是多模态感知、ACT架构简介、多模态融合的核心挑战

1.1 什么是多模态感知？

多模态感知，说白了就是让机器像人一样，同时用多种感官去理解世界。

你想想看，我们人类是怎么感知环境的？眼睛看、耳朵听、手触摸、鼻子闻……这些信息在大脑里融合，才形成了完整的认知。机器也是一样——摄像头、麦克风、雷达、触觉传感器，这些就是机器的「感官」。

我在项目中遇到过最典型的例子：自动驾驶。光靠摄像头，雨天或大雾天就抓瞎了。加上激光雷达和毫米波雷达，才能在各种天气下稳定工作。这就是多模态感知的价值。

常见的模态包括：

• 视觉模态：RGB图像、红外图像、深度图
• 听觉模态：麦克风阵列、声纹特征
• 触觉模态：压力分布、振动信号
• 运动模态：IMU、里程计、GPS
• 距离模态：激光雷达点云、毫米波雷达

1.2 ACT架构简介

ACT，全称是「Adaptive Cross-modal Transformer」。嗯，这个名字有点长，但核心思想其实很简单——让不同模态的数据在同一个框架里「对话」。

我最早接触Transformer做多模态融合时，踩过一个坑：直接把图像特征和文本特征拼在一起送进模型，结果效果还不如单模态。后来才明白，不同模态的数据分布、采样频率、语义粒度都不一样，硬拼是行不通的。

ACT架构的核心设计理念有三点：

1. 模态对齐：把不同模态的数据映射到统一的特征空间
2. 自适应权重：根据场景动态调整各模态的贡献度
3. 跨模态交互：让模态之间互相「参考」和「补充」

下面这张图展示了ACT架构的整体流程：

从图中可以看到，ACT架构的核心是中间的「跨模态Transformer」模块。它接收来自不同模态的对齐特征，通过自适应权重和交叉注意力机制，输出最终的融合结果。

1.3 多模态融合的核心挑战

做多模态融合这么多年，我总结下来，核心挑战就四个字：「对不上」。

具体来说，有这几个方面：

挑战类别	具体问题	我的踩坑经历
时间对齐	不同传感器采样频率不同，延迟不同	我曾经在机器人项目里，摄像头和激光雷达差了50ms，结果物体检测框一直在抖。后来加了硬件同步信号才解决。
空间对齐	不同传感器的坐标系不同，需要标定	嗯，标定这事真不能偷懒。我见过有人直接用默认参数，结果融合出来的点云和图像差了半米。
特征异构	图像是密集矩阵，点云是稀疏点集，文本是序列	早期我试过直接把不同特征拼起来，模型直接不收敛。后来用投影层统一维度才搞定。
模态缺失	某个传感器故障或被遮挡	有一次演示时，激光雷达被一块布盖住了，还好模型训练时加了随机dropout，结果居然还能正常工作。

除了上面这些，还有一个容易被忽视的挑战：计算资源。多模态数据量是单模态的好几倍，如果每个模态都上大模型，算力根本扛不住。我个人的做法是：在特征提取阶段用轻量级网络，把重活留给融合模块。

为什么会这样？因为多模态融合的本质不是「堆数据」，而是「找关系」。你想想看，如果两个模态的信息完全冗余，融合了也没意义。真正有价值的是那些互补的信息——比如视觉看到颜色，雷达测出距离，两者结合才能知道「一个红色的物体在3米外」。

所以，做多模态融合，核心思路就一条：让不同模态互相补充，而不是互相打架。

---

公众号:蓝海资料掘金营，微信deep3321