TensorFlow 多模态数据处理实战 · 课程目录

多模态入门绪论

什么是多模态学习 · TensorFlow生态 · 课程项目总览

环境搭建基础

TensorFlow 2.x安装 · GPU配置 · 数据集准备与目录结构

图像基础视觉

图像张量表示 · TF图像读取与解码 · 图像基本变换

图像预处理流水线

数据增强(翻转/旋转/裁剪) · 归一化 · tf.data构建

图像分类实战迁移学习

ResNet50迁移学习 · 微调策略

图像目标检测检测

TF Object Detection API · SSD训练与推理

图像分割语义

U-Net架构 · 语义分割数据准备 · 训练与评估

文本基础 NLP

文本张量化 · Tokenizer与词汇表 · 序列填充截断

文本嵌入表示

Word2Vec原理 · TF词嵌入层 · 预训练词向量加载

文本分类情感

RNN/LSTM情感分析 · 双向LSTM · 注意力机制入门

文本生成生成

LSTM文本生成 · 温度采样 · Beam Search解码

Transformer与BERT 预训练

Transformer架构 · HuggingFace库 · BERT微调

音频基础信号

音频数字化 · 采样率与位深度 · TF音频读取与波形

音频特征提取特征

MFCC · 频谱图 · Mel频谱图

音频分类识别

CNN音频分类 · tf.keras · SpecAugment增强

语音识别 ASR

CTC损失 · DeepSpeech · TensorFlow ASR

多模态融合策略融合

早期/晚期/混合融合 · 注意力融合

图像+文本融合 VQA

视觉问答 · 特征对齐 · 协同注意力

图像+音频融合跨模态

音视频事件检测 · 跨模态检索基础

文本+音频融合情感

情感识别多模态 · 语音驱动文本生成

三模态融合视频

视频理解(图像+文本+音频) · 多模态Transformer

多模态数据集数据

MSCOCO · Flickr30k · AudioSet · AVE加载

数据对齐与同步预处理

时间戳对齐 · 特征对齐 · 缺失模态处理

模型评估指标

准确率/BLEU/CIDEr/F1 · 混淆矩阵

模型部署工程

SavedModel导出 · TF Serving · TFLite转换

多模态生成生成

文本到图像(Stable Diffusion) · 图像描述生成

多模态检索检索

跨模态哈希 · 对比学习(CLIP) · 双塔模型

多模态预训练前沿

ViLT · ALBEF · FLAVA · 预训练目标

实战项目一情感分析

多模态情感分析 (文本+音频+图像)

实战项目二视频摘要

多模态视频摘要生成 (图像+文本+音频)