1、Transformer总览：从RNN到Transformer的演进、核心思想（注意力机制）、整体架构图（Encoder-Decoder）、应用场景概览

1.1 从RNN到Transformer：我踩过的那些坑

说起序列模型，我最早接触的是RNN。那时候做机器翻译，RNN-LSTM几乎是标配。但说实话，用起来真的很痛苦。

为什么会这样？

RNN有个天然缺陷——它是串行计算的。你想想看，处理一个句子，必须等第一个词算完，才能算第二个。句子一长，训练慢得像蜗牛爬。我曾经在项目里跑一个50层的LSTM，一个batch要等半小时。那时候我就在想：这玩意儿能商用吗？

更头疼的是长距离依赖问题。我记得有一次做文本生成，模型死活记不住句子开头的主语。明明前面说的是「张三」，生成到后面就变成了「他们」。这就是典型的梯度消失——早期的信息传不到后面。

后来出现了Attention机制，最早是Bahdanau等人用在机器翻译上的。说白了，就是让模型在生成每个词时，能「回头看」一下输入序列的所有位置，自己决定该关注哪里。这个想法很朴素，但效果出奇的好。

直到2017年，Google那篇《Attention is All You Need》横空出世。我当时读完论文，第一反应是：这思路太暴力了——既然Attention这么好用，那干脆把RNN整个扔掉，全靠Attention堆起来。这就是Transformer的诞生。

1.2 核心思想：注意力机制到底在干什么

注意力机制，说白了就是「加权求和」。但这里的权重不是固定的，而是动态计算的。

我给你拆解一下：

• Query（查询）：当前要关注什么
• Key（键）：输入序列中每个位置的特征标识
• Value（值）：输入序列中每个位置的实际信息

计算过程很简单：用Query去和每个Key做相似度计算，得到一组权重，然后用这些权重对Value做加权求和。

嗯，这里要注意：相似度计算用的是点积。为什么是点积？我个人的理解是——点积既能衡量方向相似度，又能反映向量长度，计算还快。在GPU上，矩阵乘法就是点积的批量版本，效率极高。

Transformer用的叫「自注意力」（Self-Attention）。什么意思？就是Query、Key、Value都来自同一个序列。每个位置都能看到所有位置的信息。这解决了RNN的长距离依赖问题——不管两个词隔多远，注意力机制都能直接建立联系。

1.3 整体架构图：Encoder-Decoder是怎么配合的

Transformer的架构分两大部分：Encoder（编码器）和Decoder（解码器）。

我习惯把Encoder理解为「阅读理解」模块，Decoder理解为「写作生成」模块。

组件	作用	我遇到过的坑
Encoder	把输入序列转换成一组特征表示	输入长度不能太长，否则显存爆炸
Decoder	根据Encoder的输出，逐步生成目标序列	训练时要用Teacher Forcing，否则收敛慢
多头注意力	让模型从不同角度关注信息	头数不是越多越好，8-16头比较常见
前馈网络	对每个位置做非线性变换	隐藏层维度一般是4倍模型维度

每个Encoder层包含两个子层：多头自注意力 + 前馈网络。每个子层后面都有残差连接和层归一化。

Decoder稍微复杂一点，有三个子层：

1. 掩码多头自注意力：防止看到未来的词
2. 交叉注意力：让Decoder关注Encoder的输出
3. 前馈网络

我曾经在实现交叉注意力时犯过一个低级错误——忘了把Encoder的输出作为Key和Value，结果模型完全学不会翻译。排查了两天才发现，嗯，这种错误犯过一次就不会再犯了。

1.4 应用场景概览：Transformer到底能干啥

Transformer最初是为机器翻译设计的，但后来我发现，这玩意儿几乎能用在所有序列任务上。

• 机器翻译：最经典的应用，Encoder-Decoder架构的天然场景
• 文本生成：GPT系列就是纯Decoder架构，写文章、写代码都行
• 文本分类：BERT用Encoder架构，做情感分析、意图识别
• 语音识别：把语音特征序列转成文本序列
• 图像处理：ViT把图像切成patch，当成序列处理

说实话，Transformer的通用性让我很惊讶。它本质上就是一个「序列到序列」的框架，只要你能把数据表示成序列，就能用Transformer试试。我最近还在尝试用它做时间序列预测，效果比LSTM好不少。

好了，这一章我们快速过了一遍Transformer的来龙去脉。下一章，我会带你从零手写实现多头注意力机制——这是Transformer最核心的组件，理解了它，后面的路就好走了。