🧩 多模态特征对齐与融合
✨ 30章 · 从入门到前沿
01
多模态学习概述
多模态数据定义 · 挑战 · 图文检索/视觉问答
02
特征表示基础
CNN/ResNet · BERT/Word2Vec · 维度与归一化
03
对齐问题定义
特征对齐 · 异构鸿沟 · 数学表述与评价指标
04
全局对齐方法
余弦相似度 · InfoNCE · 双塔模型
05
局部对齐方法
注意力机制 · Cross-Attention · Region-Word
06
对齐损失函数
Triplet · Contrastive · NCE · MMD
07
典型对齐模型 (上)
CLIP · ALIGN · SigLIP
08
典型对齐模型 (下)
BLIP-1/2 · Flamingo · ImageBind
09
融合问题定义
早期vs晚期融合 · 层级与粒度
10
简单融合方法
Concat · 加和/乘积 · 加权求和与门控
11
基于注意力的融合
Transformer编码器 · Co-Attention · 跨模态
12
基于双线性池化的融合
MCB · MLB · MUTAN
13
基于图的融合
GNN基础 · 模态内图 · 跨模态推理
14
多模态 Transformer
ViLT · VisualBERT · UNITER
15
模态缺失与鲁棒融合
缺失策略 · 模态Dropout · 动态权重
16
多模态生成任务
Stable Diffusion · 图像描述融合
17
多模态翻译与检索
跨模态检索 · 图文双向 · 视频-文本
18
多模态情感分析
文本-语音-视频 · MMSA · 时序对齐
19
多模态医学影像分析
图像-报告 · CheXpert · MIMIC-CXR
20
多模态推荐系统
视觉-文本-行为 · MMGCN · 特征交互
21
多模态知识图谱
实体对齐 · MMKG · 视觉关系抽取
22
多模态对话系统
VisDial · 多模态上下文 · MMI
23
多模态预训练范式
单流vs双流 · MLM+ITM · MoCo/MAE扩展
24
模型压缩与加速
知识蒸馏 · 量化感知 · 剪枝
25
多模态评估指标
R@K · CIDEr · BLEU · FID · CLIP Score
26
数据集与基准
MS-COCO · Flickr30K · LAION-5B · MMBench
27
工具与框架
HuggingFace · OpenCLIP · MMF · MMEngine
28
前沿趋势 (上)
MLLM · LLaVA · MiniGPT-4 · Qwen-VL
29
前沿趋势 (下)
多模态Agent · 具身智能 · CogAgent · RT-2
30
课程总结与项目实战
端到端检索系统 · 模型部署 · 未来方向