3、标准MLP结构：两层线性变换 + GELU激活函数，隐藏层维度扩展（4x）

好，咱们今天聊聊Transformer里那个看似简单、实则暗藏玄机的MLP模块。

很多人初学Transformer时，注意力全在Self-Attention上，觉得MLP就是个「打酱油」的。说实话，我刚开始也这么想。直到有一次我在做模型压缩项目，把MLP的隐藏层维度从4x砍到2x，结果模型性能直接崩了——嗯，从那以后我再也不敢小看这个「小透明」了。

3.1 标准MLP长什么样？

标准MLP的结构，说白了就是两件事：先升维，再降维。

具体来说：

  • 第一层线性变换：把输入从 d_model 映射到 4 * d_model
  • 激活函数：GELU（不是ReLU，也不是Sigmoid）
  • 第二层线性变换：把 4 * d_model 映射回 d_model

你想想看，为什么是4倍？不是3倍、5倍？我个人的理解是：4倍是一个「性价比」很高的选择。太小了，模型表达能力不够；太大了，参数量翻倍，收益却递减。我在多个项目中试过3x、4x、6x，4x确实是最稳的。

核心公式：

MLP(x) = Linear2( GELU( Linear1(x) ) )

其中 Linear1 的权重形状为 [d_model, 4*d_model]，Linear2 为 [4*d_model, d_model]。

3.2 为什么用GELU而不是ReLU？

这个问题我面试时经常被问到。其实答案很直接：GELU比ReLU更「平滑」。

ReLU在x=0处有个硬拐点，梯度不连续。而GELU是一个光滑的近似，它在负半轴不是完全「杀死」神经元，而是给了一个很小的梯度。你想想看，这对训练稳定性有多重要？

GELU的数学表达式：

GELU(x) = x * Φ(x)

其中 Φ(x) 是标准正态分布的累积分布函数。实际实现中，常用近似公式：

GELU(x) ≈ 0.5 * x * (1 + tanh(√(2/π) * (x + 0.044715 * x³)))

我的经验：在训练初期，GELU的「软饱和」特性让梯度更稳定。我曾经试过把GELU换成ReLU，结果训练loss震荡得厉害，收敛速度也慢了。所以，别手痒去换激活函数。

3.3 隐藏层维度为什么是4x？

这里有个很关键的设计哲学：MLP的作用是「记忆」和「变换」。

Self-Attention负责捕捉序列中的关系，但它不做非线性变换。MLP就是那个「做非线性变换」的角色。把维度扩展到4倍，相当于给模型一个更大的「工作空间」，让它能学到更复杂的特征组合。

我习惯把这个过程比作「先展开，再压缩」：

  • 展开（4x）：把信息投影到高维空间，让不同特征有更多「碰撞」的机会
  • 压缩（回d_model）：把有用的信息提炼出来，丢掉冗余

为什么是4倍？其实早期Transformer论文里做过实验，2x效果不够好，8x参数量太大。4x是个经验值，后来被大量实践验证了。

3.4 代码实现：从零写一个标准MLP

咱们直接看代码，我习惯用PyTorch实现：

import torch
import torch.nn as nn
import torch.nn.functional as F

class MLP(nn.Module):
    def __init__(self, d_model, expansion_factor=4):
        super().__init__()
        self.fc1 = nn.Linear(d_model, expansion_factor * d_model)
        self.fc2 = nn.Linear(expansion_factor * d_model, d_model)
        self.gelu = nn.GELU(approximate='tanh')  # 用近似版本，效率更高

    def forward(self, x):
        # x shape: [batch, seq_len, d_model]
        x = self.fc1(x)          # 升维
        x = self.gelu(x)         # 非线性
        x = self.fc2(x)          # 降维
        return x

你看，就这么几行。但要注意：

  • nn.GELU(approximate='tanh') 用的是近似版本，训练时更快
  • 没有Dropout？对，标准Transformer的MLP里没有Dropout。我一开始也觉得奇怪，后来发现LayerNorm和残差连接已经够用了

避坑指南：我曾经在MLP里加了Dropout(0.1)，结果模型训练变慢，而且效果没提升。后来查了论文才知道，Transformer的MLP本身就有很强的正则化效果——高维空间+非线性激活，天然抗过拟合。所以，别乱加Dropout。

3.5 参数量与计算量

咱们算一笔账。假设 d_model = 768（BERT-base的配置）：

层 参数量 计算量（FLOPs）
fc1 768 × 3072 + 3072 ≈ 2.36M 2 × 768 × 3072 ≈ 4.72M
fc2 3072 × 768 + 768 ≈ 2.36M 2 × 3072 × 768 ≈ 4.72M
总计 ≈ 4.72M ≈ 9.44M

你发现没？MLP的参数量占了Transformer整个模块的大头。以BERT-base为例，12层Transformer，每层MLP约4.7M参数，总共约56M——这比Self-Attention的参数量多得多。

所以，MLP才是Transformer里真正的「参数大户」。我做过一个实验：把MLP的隐藏层从4x降到3x，参数量减少25%，但性能只下降了不到1%。这给模型压缩提供了思路。

3.6 一个容易被忽略的细节：偏置项

嗯，这里要注意。标准MLP的两个线性层都带偏置项（bias）。但有些实现会去掉偏置，尤其是在做LayerNorm之后。

我个人习惯保留偏置，原因很简单：偏置项提供了额外的自由度。虽然LayerNorm已经做了归一化，但偏置能让模型在激活函数之前微调每个神经元的「阈值」。

不过，如果你在做模型量化，去掉偏置可以省一点计算。这个看具体场景。

3.7 总结一下

标准MLP的设计，看似简单，其实每个细节都有讲究：

  • 两层线性变换：先升维后降维，给模型更大的表达空间
  • GELU激活函数：平滑、稳定，比ReLU更适合深层网络
  • 4x扩展因子：经验值，性价比最高
  • 无Dropout：天然正则化，别乱加

下次你看到Transformer的MLP模块，别觉得它简单。它可是整个模型里参数量最多的部分，也是模型压缩和优化的关键点。

← 上一章 📖 返回目录 下一章 →