🧠 多模态能力扩展实战
📘 Agent 多模态 · 30 章完全学习路径
🚀 30 章节
| 动手实战
01
多模态Agent概述
什么是多模态
为什么需要多模态Agent
多模态 vs 单模态
课程目标与路径
02
多模态数据基础
图像数据表示
文本Token/Embedding
音频波形/频谱
数据预处理对齐
03
视觉编码器详解
CNN原理与局限
ViT架构
CLIP视觉编码器
提取图像特征
04
文本编码器详解
BERT vs GPT编码
Tokenization策略
位置编码
注意力机制应用
05
音频编码器详解
梅尔频谱图
Wav2Vec 2.0
Whisper编码器
音频/文本/视觉对齐
06
多模态融合策略
早期融合
晚期融合
跨模态注意力
门控融合
07
跨模态注意力机制
Query-Key-Value跨模态
多头注意力
可变形注意力
图文匹配可视化
08
多模态大语言模型架构
LLaVA架构
Qwen-VL
CogVLM
Fuyu-8B对比
09
LLaVA模型实战
LLaVA原理
预训练+微调
HuggingFace加载
图文对话
10
Qwen-VL模型实战
架构特点
多图输入处理
视觉问答
API调用与部署
11
CogVLM模型实战
深度融合机制
训练技巧
图像描述
性能调优
12
多模态Agent工具调用
Function Calling
ReAct模式
工具定义与注册
调用OCR工具
13
视觉工具集成
图像分类
目标检测(DETR/YOLO)
OCR(PaddleOCR)
图像生成SD
14
音频工具集成
语音识别Whisper
语音合成TTS
音频分类
声纹识别
15
视频理解工具集成
视频帧提取
视频分类
动作识别
视频摘要生成
16
多模态RAG
多模态Embedding
图文混合检索
CLIP检索实战
RAG系统搭建
17
多模态记忆系统
短期/长期记忆
向量数据库
记忆检索与注入
带记忆对话Agent
18
多模态Agent规划能力
任务分解
思维链CoT
Tree-of-Thoughts
Plan-and-Solve
19
多模态Agent推理能力
视觉推理
空间推理
因果推理
图表推理Agent
20
多模态Agent安全与对齐
幻觉问题
越狱攻击
内容安全过滤
RLHF多模态
21
多模态Agent评估
BLEU/ROUGE/CIDEr
CLIPScore
人工评估
评估Pipeline
22
多模态Agent部署
模型量化INT8/FP16
ONNX导出
TensorRT加速
Docker部署
23
自动驾驶中的应用
多传感器融合
视觉语言导航
交通标志理解
危险场景识别
24
医疗影像中的应用
医学报告生成
病灶检测描述
多模态病历分析
辅助诊断Agent
25
机器人中的应用
视觉语言操作VLM
抓取点检测
任务指令跟随
人机交互
26
内容创作中的应用
文生图
图生文
视频生成
多模态故事生成
27
电商中的应用
商品图文匹配
虚拟试穿
智能客服
多模态搜索
28
教育中的应用
多模态课件生成
智能批改
虚拟教师
学习路径推荐
29
多模态Agent前沿研究
GPT-4V/4o分析
Gemini多模态
Sora视频生成
未来趋势
30
多模态Agent项目实战
从零搭建问答Agent
视觉+语音+文本
端到端测试优化
课程总结与进阶
🧩 点击卡片跳转对应章节 · 30章完整目录