注意力机制在感知中的应用
30章
· 从基础到前沿
01
注意力机制基础：从Seq2Seq到Attention的演进
为什么需要注意力
🔍
02
Transformer架构总览：Encoder-Decoder结构
核心组件概览
⚙️
03
Scaled Dot-Product Attention
数学原理 · QKV矩阵
🧮
04
Multi-Head Attention：多头机制设计
并行计算优势
🧩
05
位置编码（Positional Encoding）
正弦波编码原理
🌊
06
Self-Attention 与 Cross-Attention
区别与应用场景
🔄
07
Transformer Encoder详解
LayerNorm · FFN · 残差
🏗️
08
Transformer Decoder详解
Masked Self-Attention
🔐
09
视觉Transformer（ViT）
图像Patch · 线性投影
🖼️
10
ViT位置编码与分类头
Class Token设计
🎯
11
Swin Transformer
层级特征 · 移位窗口
🪟
12
DeiT：Data-efficient Transformer
知识蒸馏在ViT中
🧪
13
DETR：Detection Transformer
端到端 · 匈牙利匹配
🎯
14
DETR的Query设计
Object Query · 可学习位置编码
❓
15
Deformable DETR
可变形注意力 · 多尺度融合
🌀
16
ViT在语义分割中的应用
SETR · SegFormer
🗺️
17
视频理解中的Transformer
TimeSformer · Video Swin
🎬
18
3D点云中的Transformer
Point Transformer · PCT
☁️
19
多模态感知中的Transformer
CLIP · ViLT · Flamingo
🧠
20
注意力机制的可视化
Attention Map提取
👁️
21
Transformer的训练技巧
学习率 · 初始化 · 增强
⚡
22
模型压缩与部署
量化 · 剪枝 · 蒸馏
📦
23
Flash Attention
高效注意力计算
⚡
24
线性注意力（Linear Attention）
降低复杂度方法
📉
25
Transformer在自动驾驶感知
BEVFormer · UniAD
🚗
26
BEVFormer：鸟瞰图特征生成
基于Transformer
🗺️
27
OccFormer：3D占用网络
Transformer设计
🧊
28
Transformer与CNN的对比
感受野 · 参数效率
⚖️
29
未来趋势：Mamba、状态空间模型
对Transformer的挑战
🚀
30
综合实战：基于ViT图像分类
项目全流程
💻