🧩 跨模态对齐 · 融合实战

🎯 30 章 · 从入门到项目 v2.0

跨模态对齐概述图文检索

跨模态学习、对齐与融合区别、典型应用

Transformer基础回顾注意力

自注意力、多头、位置编码、Encoder-Decoder

多模态表示学习 BERT/ViT

单模态编码器、共享语义空间

对比学习基础 InfoNCE

正负样本、温度系数、SimCLR vs CLIP

CLIP模型详解 Zero-shot

双塔架构、图文对比、代码实战

ALBEF模型动量蒸馏

图文交互编码器、ITC/ITM损失

VLMO模型混合专家

分阶段预训练、统一视觉语言

BLIP系列 Q-Former

CapFilt、图像描述生成实战

Flamingo模型少样本

Gated Cross-Attention、Interleaved

CoCa模型单塔+双塔

对比+生成损失、ImageNet Zero-shot

BEiT-3 掩码建模 Multiway

图像块掩码、多模态统一掩码

ImageBind 六模态

Emergent Zero-shot、无需配对

多模态融合策略门控融合

早/中/晚期、注意力融合

跨模态注意力 Cross-Attn

QKV映射、代码实战交叉注意力

多模态Transformer 单/双流

Co-attention、层级设计

模态对齐挑战模态鸿沟

细粒度、时序对齐、语义粒度

对齐损失函数 Triplet/OT

NCE、KL散度、最优传输

数据增强&负样本 MoCo

文本回译、Hard Negative Mining

多模态预训练策略课程学习

动态掩码、混合精度训练

视频-语言对齐 TimeSformer

VideoBERT、帧采样、时序位置编码

音频-语言对齐 CLAP

频谱图编码、音频文本检索实战

3D-语言对齐 PointCLIP

点云编码器、文本-点云对比

多模态生成任务 DALL-E

文本到图像、Stable Diffusion

多模态推理&VQA 解码器

视觉问答、模块化网络

多模态情感分析融合识别

图文/视频情感、代码实战分类

模型压缩与部署 TensorRT

知识蒸馏、量化、剪枝、ONNX

评估指标与基准 R@K/FID

CIDEr、SPICE、CLIP Score、数据集

前沿方向 LLaVA/GPT-4V

具身智能、多模态Agent

项目实战1 · 图文检索 Web Demo

数据准备、索引构建、部署

项目实战2 · 情感分析可视化

数据标注、特征提取、报告生成