第3章 Scaled Dot-Product Attention

第3章：Scaled Dot-Product Attention：数学原理与计算流程，QKV矩阵的含义

好，咱们直接进入正题。

这一章要聊的，是整个Transformer感知机制的核心——Scaled Dot-Product Attention。说白了，就是那个让模型学会“该看哪里”的数学公式。

我记得刚接触这个概念时，第一反应是：“这不就是个加权求和吗？”嗯，你猜对了一半。但真正让它强大的，是Q、K、V这三个矩阵的设计。咱们一步步拆开看。

3.1 从“注意力”说起

先问个问题：你在一堆信息里找重点，靠的是什么？

比如你读一段代码，眼睛会不自觉地聚焦在变量名、函数调用上。这就是注意力——对重要信息分配更多资源。

Transformer里的注意力机制，干的就是同样的事。它让模型在处理每个词时，能“看到”序列中所有其他词，并决定哪些词更重要。

核心思想：Attention(Q, K, V) = softmax(QK^T / √d_k) V

这个公式，就是整个机制的数学骨架。

3.2 QKV矩阵：三个角色的分工

Q、K、V这三个字母，我当年背了好久才真正理解。其实它们对应的是三个角色：

Q（Query，查询）：当前词“想找什么”。比如“苹果”这个词，它想知道上下文里哪些词和它相关。
K（Key，键）：其他词“有什么”。每个词都提供一个“键”，告诉别人自己是什么。
V（Value，值）：其他词“实际内容”。一旦找到相关词，就把它们的内容提取出来。

我习惯用一个比喻来理解：

你在图书馆找书。Q是你手里的“书名”，K是每本书的“标签”，V是书里的“内容”。你拿着书名（Q）去匹配标签（K），找到最相关的几本书，然后读取它们的内容（V）。

个人经验：我在做文本分类项目时，一开始把Q、K、V设成了相同的矩阵。结果模型学得很慢。后来改成不同的线性投影，效果立刻提升。记住：Q、K、V虽然来自同一输入，但必须经过不同的权重矩阵变换。

3.3 数学原理：一步步拆解

好，咱们来看公式的每一步。别怕，我会用最直白的话讲。

3.3.1 第一步：计算相似度（QK^T）

Q和K都是矩阵。Q的每一行代表一个词的查询向量，K的每一列代表一个词的键向量。

QK^T 就是计算每个查询和每个键的点积。点积越大，说明两个词越相关。

举个例子：

假设序列有3个词：["我", "爱", "你"]
Q的形状是 (3, d_k)，K的形状也是 (3, d_k)
QK^T 的形状是 (3, 3)

第i行第j列的值 = Q[i] · K[j]
表示“第i个词”对“第j个词”的关注度

嗯，这里要注意：点积的结果可能很大。如果d_k=512，点积的方差大约是512。这会导致softmax后的梯度变得极小——模型学不动了。

3.3.2 第二步：缩放（除以√d_k）

这就是“Scaled”的由来。除以√d_k，把方差拉回到1左右。

我曾经踩过的坑：有一次我忘了做缩放，直接拿点积结果去算softmax。训练了三天，loss死活不降。后来查了三天代码，才发现是这里的问题。所以，千万别省这一步。

为什么是√d_k？因为两个独立同分布的随机向量点积的方差就是d_k。除以√d_k后，方差变成1。这样softmax的输入分布更稳定，梯度也更健康。

3.3.3 第三步：Softmax归一化

缩放后的矩阵，每一行做softmax。结果就是注意力权重——每个词对其他词的关注程度，且和为1。

比如：

原始相似度：[2.0, 0.5, -1.0]
缩放后：[0.089, 0.022, -0.044]  （假设d_k=512）
Softmax后：[0.53, 0.31, 0.16]

你看，模型把53%的注意力放在了第一个词上。

3.3.4 第四步：加权求和（乘以V）

最后一步，用注意力权重去加权V矩阵。V的每一行是一个词的实际内容向量。

结果就是：每个词的新表示，是它关注的所有词的加权平均。

说白了，模型把“该看的地方”的内容提取出来，融合到当前词里。

3.4 完整的计算流程

咱们用伪代码总结一下：

def scaled_dot_product_attention(Q, K, V):
    # 1. 计算相似度
    scores = Q @ K.T  # 形状: (seq_len, seq_len)
    
    # 2. 缩放
    d_k = Q.shape[-1]
    scores = scores / sqrt(d_k)
    
    # 3. Softmax归一化
    attention_weights = softmax(scores, dim=-1)
    
    # 4. 加权求和
    output = attention_weights @ V
    
    return output, attention_weights

你想想看，整个过程其实就是：找相关 → 归一化 → 加权融合。是不是很直观？

3.5 为什么这个设计有效？

我个人的理解是：

Q和K的分离：让模型能独立学习“查询”和“被查询”的表示。比如“苹果”作为查询时，可能更关注“吃”；作为键时，可能更关注“水果”。
缩放的必要性：没有缩放，高维空间里的点积会爆炸，softmax退化为one-hot，梯度消失。
V的独立性：注意力权重只决定“看哪里”，V决定“看到什么”。这种分离让模型能灵活调整关注点和内容。

避坑指南：我曾经在多头注意力里，把每个头的d_k设得太小（比如4）。结果每个头学到的注意力模式几乎一样，白白浪费了计算资源。建议d_k至少16以上，具体看任务复杂度。

3.6 一个具体的数值例子

咱们用个极简的例子，手动算一遍：

假设序列长度=2，d_k=2

输入词：["猫", "鱼"]
Q = [[1, 0], [0, 1]]   # "猫"的查询是[1,0]，"鱼"的查询是[0,1]
K = [[1, 0], [0, 1]]   # 假设键和查询一样
V = [[2, 3], [4, 5]]   # "猫"的值是[2,3]，"鱼"的值是[4,5]

# 1. 计算相似度
scores = Q @ K.T = [[1, 0], [0, 1]]  # 对角矩阵

# 2. 缩放
d_k=2, sqrt(2)≈1.414
scores = [[0.707, 0], [0, 0.707]]

# 3. Softmax
softmax([0.707, 0]) = [0.67, 0.33]
softmax([0, 0.707]) = [0.33, 0.67]

# 4. 加权求和
output[0] = 0.67*[2,3] + 0.33*[4,5] = [2.66, 3.66]
output[1] = 0.33*[2,3] + 0.67*[4,5] = [3.34, 4.34]

你看，“猫”的新表示融合了“鱼”的信息，但更偏向自己。“鱼”也一样。这就是自注意力的本质——每个词都变成了上下文的加权组合。

3.7 小结

这一章咱们把Scaled Dot-Product Attention的数学原理和计算流程过了一遍。核心就三点：

QKV分工明确：Q找相关，K被匹配，V提供内容
缩放是必须的：防止梯度消失，稳定训练
加权求和是灵魂：让每个词都能感知全局上下文

下一章，咱们会聊多头注意力——为什么一个头不够，要多个头？到时候见。

📚 课程目录