多模态融合 · 注意力机制
🧩 30章 完整路径
01
注意力机制基础：Seq2Seq → Bahdanau
核心思想与数学原理，对齐模型
02
自注意力与Transformer
Scaled Dot-Product, Multi-Head Attention
03
多模态表示学习
图像·文本·音频嵌入，模态对齐
04
协同注意力 Co-Attention
图像-文本交叉注意力，典型架构
05
跨模态注意力 Cross-Modal
非对称模态，视频-文本检索
06
分层注意力 Hierarchical
多粒度融合，局部到全局
07
门控注意力 Gated Attention
可学习模态门控，动态贡献
08
张量融合与双线性注意力
多模态双线性池化，MFB/MFH
09
低秩多模态融合 LMF
低秩张量分解的高效策略
10
Transformer在多模态中应用
ViLT, CLIP, ALBEF 架构解析
11
视觉-语言预训练 VLP
UNITER, Oscar, VinVL 注意力
12
多模态Transformer变体
Perceiver, Flamingo, GATO
13
注意力在VQA中的应用
Bottom-Up Top-Down, MCAN
14
注意力在图像描述 Captioning
Up-Down, Meshed-Memory Transformer
15
文本到图像生成 · 交叉注意力
DALL-E, Stable Diffusion
16
视频理解中的注意力
TimeSformer, VideoMAE
17
语音-视觉融合 AVSR
多模态语音识别注意力
18
医学影像分析中的注意力
多模态医学融合，报告生成
19
情感分析中的注意力
多模态情感识别，MISA, MULT
20
推荐系统中的注意力
多模态推荐，MMGCN, LATTICE
21
自动驾驶中的注意力
多传感器融合，BEVFormer
22
机器人感知中的注意力
视觉-触觉融合，多模态操作
23
稀疏注意力与线性注意力
Reformer, Linformer, Performer
24
因果注意力与掩码策略
自回归因果掩码，多模态序列
25
可解释性与注意力可视化
注意力权重，Grad-CAM多模态
26
注意力机制效率优化
FlashAttention, 稀疏量化
27
对比学习与注意力
CLIP, SigLIP 对比注意力
28
提示学习与注意力
CoOp, CoCoOp 多模态提示
29
注意力最新进展 · Mamba
State Space Models + 多模态Mamba
30
综合项目实战
多模态分类/检索系统设计