3、注意力机制原理：从Seq2Seq到多头注意力
注意力机制，说白了就是让模型学会「看哪里」。
我刚开始接触这个方向时，总觉得它有点玄学。直到我在一个机器翻译项目里，亲眼看到模型把长句子的每个词都对齐得明明白白——嗯，那一刻我服了。
3.1 从Seq2Seq说起：为什么需要注意力？
先聊聊经典的Seq2Seq模型。它的结构很简单：一个编码器把输入序列压缩成一个固定长度的「上下文向量」，然后解码器基于这个向量生成输出。
问题出在哪？
你想想看，如果输入句子有50个词，编码器要把所有信息塞进一个向量里。这就像让你把一整部电影的内容，用一句话讲清楚——信息丢失是必然的。
我在项目中遇到过这种情况：翻译短句子时效果还行，一旦句子超过20个词，质量就断崖式下跌。尤其是句子后半部分的信息，几乎全丢了。
核心痛点：固定长度的上下文向量是信息瓶颈。长序列场景下，模型记不住前面的内容。
3.2 注意力机制的引入：让模型学会「回头看」
注意力机制的想法很朴素：解码器在生成每个词时，不要只看那个压缩后的向量，而是回头看看编码器的所有输出，自己决定哪些信息更重要。
具体怎么做？
- 计算相似度：解码器的当前状态，跟编码器的每个时间步输出算一个分数。
- 归一化：用softmax把这些分数变成概率分布，也就是注意力权重。
- 加权求和：用注意力权重对编码器输出做加权平均，得到上下文向量。
这个上下文向量，就是模型「注意力」的体现。权重高的位置，就是模型认为重要的地方。
我的经验：注意力机制刚出来时，很多人觉得它只是工程技巧。但后来大家发现，它其实给了模型一种「解释性」——你可以可视化注意力权重，看看模型到底关注了哪些词。这在调试时特别有用。
3.3 缩放点积注意力（Scaled Dot-Product Attention）
这是Transformer里用的注意力计算方式。公式很简单：
Attention(Q, K, V) = softmax(QK^T / √d_k) VQ是查询，K是键，V是值。这三个东西怎么理解？
- Q（Query）：当前要查询的内容，相当于「我想找什么」。
- K（Key）：每个位置的标识，相当于「我有什么」。
- V（Value）：每个位置的实际信息，相当于「我能给你什么」。
计算过程分三步：
- Q和K做点积，得到注意力分数。
- 除以√d_k（d_k是K的维度），防止点积结果过大导致softmax梯度消失。
- softmax归一化后，乘以V得到输出。
避坑指南：我曾经在实现时忘了除以√d_k，结果训练时loss死活不降。查了两天才发现是梯度爆炸了。这个缩放因子不是可选项，是必须的。
为什么叫「缩放」点积？就是因为多了这个除以√d_k的操作。d_k越大，点积结果的方差越大，缩放后能让softmax的输入分布更稳定。
3.4 多头注意力机制详解
单头注意力有个问题：它只能关注一种关系。但实际场景中，一个词可能跟多个词有不同层面的关联。
举个例子，「苹果」这个词，在「苹果很好吃」里关注的是水果属性，在「苹果发布了新手机」里关注的是公司属性。单头注意力很难同时捕捉这两种关系。
多头注意力就是解决这个问题的。它的思路很简单：
- 把Q、K、V分别投影到h个不同的子空间。
- 在每个子空间里独立计算注意力。
- 把h个结果拼接起来，再投影回原始维度。
公式长这样：
MultiHead(Q, K, V) = Concat(head_1, ..., head_h) W_O
其中 head_i = Attention(QW_Q_i, KW_K_i, VW_V_i)每个head可以学到不同的注意力模式。有的head关注语法关系，有的关注语义相似度，有的关注位置距离。
关键参数：h是头的数量，通常取8或16。每个头的维度d_k = d_model / h。注意d_k不能太小，否则每个头学不到足够的信息。
我在项目中试过不同的头数配置。8个头效果不错，16个头在超大模型上有提升，但计算量也翻倍。如果资源有限，8个头是个稳妥的选择。
3.5 注意力机制的核心逻辑图
下面这张图展示了从输入到多头注意力的完整流程：
3.6 实际应用中的注意事项
注意力机制看着简单，落地时坑不少。我列几个常见的：
| 问题 | 现象 | 解决方案 |
|---|---|---|
| 注意力分散 | 权重分布均匀，没有聚焦 | 增加head数量，或调整温度参数 |
| 梯度消失 | 长序列训练不收敛 | 检查是否忘了除以√d_k |
| 计算量过大 | 序列长度超过512时显存爆炸 | 考虑稀疏注意力或局部注意力 |
| 过拟合 | 小数据集上效果差 | 减少head数量，或加大dropout |
我的建议：刚开始做注意力机制时，先用小规模数据跑通流程。我习惯先设d_model=512，h=8，d_k=64。这个配置在大多数任务上都能work。等模型跑通了，再慢慢调参。
注意力机制的核心思想，说白了就是「动态加权」。它让模型不再死板地处理所有输入，而是根据当前需求灵活选择关注点。这个思路后来被用到了各种地方——图像、语音、多模态，几乎无处不在。
嗯，理解了这个，后面讲Transformer就轻松多了。
公众号:蓝海资料掘金营，微信deep3321