📘 多头注意力·维度分配
10章
✨ 友好色系 · 从词嵌入到TPU
1
Embedding基础
词嵌入
独热编码对比
矩阵本质
nn.Embedding参数
↗
2
维度分配原理
d_model / h
总维度与头数
d_k = d_model/h
整除约束
↗
3
线性变换与投影
W_Q/W_K/W_V
权重矩阵维度
d_model→h*d_k
映射过程
↗
4
分头操作
view & transpose
维度重塑
batch,seq→batch,h,seq
d_k 分配
↗
5
注意力计算
Q·K^T
维度变化
softmax & 加权
输出恢复
↗
6
多头拼接与输出
Concat + W_O
concat还原
输出投影
残差连接检查
↗
7
代码实战
PyTorch
完整多头注意力
维度打印/调试
常见不匹配
↗
8
性能优化
GQA / MQA
显存影响
FlashAttention
维度处理
↗
9
面试考点
d_k=64 ?
head数选择
数学约束
常见考题
↗
10
扩展话题
多模态·TPU
维度对齐
交叉注意力不对称
硬件偏好
↗