1. 注意力机制基础：从Seq2Seq到Bahdanau Attention

大家好，我是你们的老朋友。今天咱们聊聊注意力机制——这个在深度学习里几乎无处不在的技术。

说实话，我第一次接触注意力机制的时候，也觉得它挺玄乎的。但后来在实际项目中跑过几轮实验，才真正体会到它的威力。嗯，咱们今天就从最经典的Seq2Seq模型讲起，一步步拆解注意力机制的核心思想。

1.1 Seq2Seq模型的痛点

先说说Seq2Seq。这个结构最早用在机器翻译上，比如把英文翻译成中文。它的思路很简单：一个编码器把输入句子压缩成一个固定长度的向量，然后解码器从这个向量里生成输出。

听起来挺合理对吧？但我在项目里踩过一个坑——当输入句子变长时，模型效果会急剧下降。为什么会这样？

说白了，编码器最后输出的那个向量，容量是有限的。你想想看，一个几百维的向量，要记住整个句子的信息，尤其是长句子，根本记不住。这就好比让你听完一段10分钟的话，只用一个词概括——太难了。

我做过一个实验：用Seq2Seq翻译20个词以内的句子，效果还行。但一旦超过30个词，BLEU分数直接腰斩。这就是所谓的“长距离依赖问题”。

1.2 Bahdanau Attention：让模型学会“回头看”

2015年，Bahdanau等人提出了一个很聪明的想法——为什么不给解码器一个“注意力”呢？也就是说，解码器在生成每个词的时候，可以回头看看编码器的所有隐藏状态，然后自己决定重点关注哪些位置。

这个想法，说白了就是让模型学会“选择性关注”。

我记得第一次看到这个论文时，心里想：这不就是人类翻译时的习惯吗？我们翻译一句话时，也不会把整句话背下来，而是边看边译，重点关注当前需要翻译的部分。

1.3 注意力机制的数学原理

好，咱们来点硬核的。Bahdanau Attention的计算过程，我习惯把它拆成三步：

1. 计算注意力分数：解码器的当前隐藏状态与编码器的每个隐藏状态做匹配
2. 归一化：用softmax把分数变成概率分布
3. 加权求和：用这个概率分布对编码器的隐藏状态做加权平均

公式长这样：

e_ij = v^T * tanh(W * h_j + U * s_{i-1})   // 注意力分数
α_ij = softmax(e_ij)                         // 注意力权重
c_i = Σ α_ij * h_j                           // 上下文向量

这里h_j是编码器的第j个隐藏状态，s_{i-1}是解码器上一个时间步的隐藏状态。W、U、v都是可学习的参数。

1.4 注意力权重的可视化

注意力机制最酷的一点是——它的权重是可以可视化的。我在做机器翻译项目时，经常把注意力矩阵画成热力图。

举个例子，翻译"I love you"到中文：

输入\输出	我	爱	你
I	0.85	0.10	0.05
love	0.05	0.90	0.05
you	0.05	0.10	0.85

你看，每个输出词都主要关注对应的输入词。这种对齐关系非常直观。

1.5 为什么Bahdanau Attention有效？

我个人理解，注意力机制之所以有效，是因为它打破了信息瓶颈。解码器不再依赖那个固定长度的上下文向量，而是可以动态地从编码器的所有隐藏状态中提取信息。

你想想看，这相当于给解码器配了一个“放大镜”。它想看哪里就看哪里，想多细就看多细。对于长句子，这个优势尤其明显。

我做过对比实验：在同样的数据集上，加了注意力机制的Seq2Seq模型，在长句翻译上的BLEU分数提升了将近10个点。这个提升是非常显著的。

1.6 代码实现要点

最后，给大家一个简单的实现思路。用PyTorch写Bahdanau Attention，核心代码大概这样：

class BahdanauAttention(nn.Module):
    def __init__(self, hidden_dim):
        super().__init__()
        self.W = nn.Linear(hidden_dim, hidden_dim)
        self.U = nn.Linear(hidden_dim, hidden_dim)
        self.v = nn.Linear(hidden_dim, 1)
    
    def forward(self, decoder_hidden, encoder_outputs):
        # decoder_hidden: (batch, hidden_dim)
        # encoder_outputs: (batch, seq_len, hidden_dim)
        
        # 计算注意力分数
        score = self.v(torch.tanh(
            self.W(decoder_hidden).unsqueeze(1) + 
            self.U(encoder_outputs)
        )).squeeze(-1)  # (batch, seq_len)
        
        # 归一化
        attn_weights = F.softmax(score, dim=-1)
        
        # 加权求和
        context = torch.bmm(attn_weights.unsqueeze(1), 
                           encoder_outputs).squeeze(1)
        
        return context, attn_weights

嗯，这里要注意一个细节：decoder_hidden需要unsqueeze(1)增加一个维度，才能和encoder_outputs做广播加法。我刚开始写的时候经常忘记这一步，结果维度对不上，报错半天。

好了，这一章就到这里。下一章咱们聊聊另一种经典的注意力机制——Luong Attention，看看它和Bahdanau Attention有什么不同，以及在实际项目中该怎么选。