多模态大模型 · 实战目录

📚 30章 · 从入门到部署

01课程导论与多模态基础

什么是多模态大模型、典型应用场景（图文生成、视频理解）、课程目标与前置知识。

02多模态数据表示与预处理

图像、文本、音频的向量化表示、数据清洗与对齐、常用工具库（Pillow, OpenCV, Whisper）。

03主流多模态模型架构解析

CLIP、BLIP-2、LLaVA、Qwen-VL 的核心设计思路对比。

04环境搭建与工具链

Python 环境、PyTorch/TensorFlow、Hugging Face Transformers、GPU 配置与调试。

05Hugging Face 生态入门

数据集加载（datasets）、模型加载（pipeline）、模型微调基础。

06CLIP 模型实战

图像与文本的跨模态检索、零样本分类、特征提取与可视化。

07BLIP-2 模型实战

图像描述生成、视觉问答（VQA）、指令微调入门。

08LLaVA 模型实战

多模态对话系统搭建、自定义指令数据构建、模型推理与部署。

09Qwen-VL 模型实战

中文多模态理解、OCR 识别、图表理解与问答。

🇨🇳 中文

10多模态数据增强技术

图像变换、文本回译、音频加噪、数据合成策略。

11模型微调技术（上）

LoRA、Adapter、Prefix Tuning 原理与实现。

12模型微调技术（下）

全参数微调 vs 参数高效微调、多模态模型微调实践。

13多模态模型评估指标

BLEU、ROUGE、CIDEr、CLIP Score、人工评估体系。

14多模态模型部署

ONNX 导出、TensorRT 加速、Flask/FastAPI 服务搭建。

15多模态模型量化与压缩

INT8/FP16 量化、知识蒸馏、模型剪枝。

16多模态 RAG（检索增强生成）

图文检索、多模态知识库构建、生成与检索融合。

17多模态 Agent 开发

ReAct 框架、工具调用（图像生成、语音合成）、多轮对话管理。

18图像生成模型实战

Stable Diffusion 原理、ControlNet、LoRA 微调生成特定风格。

19视频理解模型实战

VideoMAE、TimeSformer、视频问答与摘要生成。

20音频多模态模型实战

Whisper 语音识别、AudioCLIP、语音驱动图像生成。

21多模态模型安全与对齐

幻觉检测、有害内容过滤、红队测试。

22多模态模型可解释性

注意力可视化、Grad-CAM、特征归因分析。

23医疗领域应用

医学影像报告生成、病理图像问答。

24电商领域应用

商品图文搜索、智能客服、广告创意生成。

25教育领域应用

智能批改、多模态教材生成、虚拟教师。

26自动驾驶应用

多传感器融合、场景理解、行为预测。

🚗 自动驾驶

27社交媒体分析应用

多模态情感分析、谣言检测、内容审核。

28多模态前沿研究

多模态思维链、世界模型、具身智能。

29项目实战（一）

构建一个多模态智能助手（图文问答+图像生成）。

30项目实战（二）

端到端多模态应用部署与演示、课程总结与未来展望。