1. Attention机制概述：从Seq2Seq到Attention的演进

1.1 为什么需要Attention？

说起Attention，我得先聊聊它的「前身」——Seq2Seq模型。

2014年左右，Seq2Seq架构在机器翻译领域大放异彩。它的思路很直观：用一个RNN把源语言句子编码成一个固定长度的向量，再用另一个RNN从这个向量里解码出目标语言。

听起来挺合理对吧？但我在实际项目中踩过这个坑。

有一次做中文到英文的翻译任务，句子稍微长一点——比如超过20个词——模型就开始「失忆」了。翻译出来的结果，前半句还行，后半句完全跑偏。

为什么会这样？

说白了，问题出在那个「固定长度的向量」上。你想想看，无论输入句子是10个词还是50个词，编码器都得把它们压缩成一个固定维度的向量。信息量大了，这个向量就成了瓶颈。就像你往一个杯子里倒一桶水，大部分水都溢出去了。

1.2 Attention的核心思想：Query, Key, Value

2015年，Bahdanau等人提出了Attention机制。它的想法其实很朴素：

解码时，不要只看一个全局向量，而是动态地「回头看」源语言的每个位置，选出当前最相关的信息。

嗯，这里要注意，Attention机制引入了三个关键角色：

• Query（查询）：当前解码步的状态，相当于你在问「我现在需要什么信息？」
• Key（键）：源语言每个位置的标识，相当于「我这里有什么信息？」
• Value（值）：源语言每个位置的实际内容，相当于「我提供的信息具体是什么」

我习惯用一个比喻来理解：

想象你在图书馆找书。Query就是你的问题「我想找关于深度学习的书」，Key是每本书的标题和标签，Value是书的内容本身。Attention做的就是：计算Query和每个Key的匹配度，然后用这个匹配度去加权求和对应的Value。

1.3 Attention的本质：信息筛选与聚焦

Attention机制的本质，说白了就是信息筛选与聚焦。

你想想看，深度学习模型处理信息时，最怕什么？信息过载。输入序列越长，模型越容易「看花眼」。Attention做的就是：从大量信息中，筛选出当前任务最需要的那一小部分，然后把计算资源集中过去。

我举个例子：

在机器翻译中，翻译「I love you」到中文时，解码「我」这个字时，Attention会重点关注源语言的「I」；解码「爱」时，注意力会转移到「love」上。这就是动态聚焦。

从数学角度看，Attention的计算流程如下：

1. 计算Query与每个Key的相似度得分
   score(Q, K_i) = Q · K_i   (点积)

2. 用softmax归一化得分，得到注意力权重
   α_i = softmax(score_i)

3. 用权重加权求和对应的Value
   Attention(Q, K, V) = Σ α_i · V_i

这个流程，我在多个项目中反复使用。它本质上是一个「软性寻址」操作——不是硬性地选一个位置，而是给每个位置分配一个概率权重。

1.4 从Bahdanau到Luong：Attention的早期变体

早期的Attention主要有两种实现方式：

类型	提出者	核心思路	我的评价
加性Attention	Bahdanau et al., 2015	用一个小型前馈网络计算得分	计算量大，但小数据集上更稳定
乘性Attention	Luong et al., 2015	直接用点积或双线性形式计算得分	计算快，适合大规模数据

我记得第一次实现Bahdanau Attention时，被它的计算图绕晕了。加性Attention需要额外训练一个前馈网络，参数量不小。而Luong的乘性Attention就清爽很多，点积一步到位。

不过，乘性Attention有个潜在问题：当向量维度变大时，点积的结果会跟着变大，导致softmax后的梯度变得极小。这就是后来Transformer里用缩放点积Attention的原因——除以√d_k来稳定梯度。

1.5 知识体系总览

下面这张图，是我梳理的Attention机制核心逻辑。你可以看到从Seq2Seq到Attention的演进路径，以及Query、Key、Value三者的关系。

这张图把Attention的演进路径、核心三要素、本质和计算流程串在了一起。我个人觉得，理解Attention的关键就两点：一是它为什么能解决长序列问题，二是Query、Key、Value各自扮演什么角色。

1.6 小结

这一章我们聊了：

• Seq2Seq的固定向量瓶颈，是Attention诞生的直接原因
• Query、Key、Value三者的分工：Query问需求，Key做标识，Value给内容
• Attention的本质就是信息筛选与聚焦——把算力花在刀刃上
• 早期Bahdanau和Luong两种Attention的差异，以及各自的适用场景

嗯，这些内容看起来基础，但我在实际项目中见过不少同学把Attention当成「万能药」。其实Attention不是银弹，它解决的是「信息聚焦」问题，而不是「特征提取」问题。搞清楚这一点，后面学Transformer、Self-Attention时就不会走偏。

---

公众号:蓝海资料掘金营，微信deep3321