图注意力网络原理：GAT的数学推导与核心公式
各位同学好，今天我们来聊聊图注意力网络（GAT）的核心原理。说实话，我第一次接触GAT的时候，也被它的数学公式吓了一跳。但后来在实际项目中用多了，发现它其实很优雅。咱们一步步来拆解。
为什么需要注意力机制？
先说说背景。传统的图卷积网络（GCN）有个问题——它对所有邻居一视同仁。你想想看，在股票关联网络中，有些股票对目标股票的影响很大，有些则微乎其微。GCN做不到区分这一点。
我在做量化选股模型时就遇到过这个问题。用GCN处理行业关联图，结果模型把同行业所有股票都当成同等重要的邻居。这显然不合理——同行业里也有龙头股和跟风股，影响力完全不一样。
GAT的解决方案很直接：给每个邻居分配一个注意力权重。说白了，就是让模型自己学会「谁更重要」。
核心思想：GAT通过自注意力机制，为每个邻居节点计算不同的权重系数，实现自适应地聚合邻居信息。
注意力系数的数学推导
好，咱们来看公式。假设我们有一个节点 i，它的特征向量是 h_i。对于它的邻居节点 j，我们想计算一个注意力系数 e_ij，表示节点 j 对节点 i 的重要性。
公式长这样：
e_ij = a( W h_i , W h_j )这里 W 是一个可学习的权重矩阵，先把特征做个线性变换。a 是一个单层前馈神经网络，用来计算两个变换后特征的相关性。
嗯，这里要注意：a 通常是一个向量，我们把它叫做「注意力向量」。计算过程其实就是把两个变换后的特征拼接起来，然后和注意力向量做点积。
展开写就是：
e_ij = LeakyReLU( a^T [ W h_i || W h_j ] )其中 || 表示拼接操作。激活函数用了 LeakyReLU，我个人习惯用负斜率0.2，效果比较稳定。
Softmax归一化
计算出来的 e_ij 还不能直接用，因为不同邻居的数值范围不一样。我们需要用 softmax 做归一化：
α_ij = softmax_j( e_ij ) = exp( e_ij ) / Σ_{k ∈ N_i} exp( e_ik )这里的 α_ij 就是最终的注意力权重。它满足两个性质：所有邻居的权重之和为1，且每个权重都在0到1之间。
小技巧：我在项目中习惯把注意力权重可视化出来，看看模型到底关注哪些股票。有时候会发现一些意想不到的关联关系，比如跨行业的资金联动。
特征聚合
有了注意力权重，聚合就很简单了：
h_i' = σ( Σ_{j ∈ N_i} α_ij W h_j )说白了，就是把邻居的特征加权求和，再经过一个非线性激活函数 σ（通常用ELU或ReLU）。
你可能会问：为什么不考虑节点自身的信息？嗯，这个问题问得好。实践中我们通常会把节点自身也加入邻居集合，或者单独加一个自连接。我建议把自身也当作一个邻居，让模型自己决定「自我」和「他人」的权重比例。
多头注意力机制
单头注意力有个问题——它只能学到一种注意力模式。但在真实的股票市场中，股票之间的关系是多维度的：有资金流向关系、有产业链上下游关系、有同行业竞争关系……
多头注意力就是来解决这个问题的。它用 K 个独立的注意力头，每个头学习一种不同的关系模式。
数学上，每个头独立计算：
h_i'^(k) = σ( Σ_{j ∈ N_i} α_ij^(k) W^(k) h_j )然后有两种聚合方式：
| 聚合方式 | 公式 | 适用场景 |
|---|---|---|
| 拼接 | h_i' = ||_{k=1}^{K} h_i'^(k) | 中间层，保留多头信息 |
| 平均 | h_i' = σ( 1/K Σ_{k=1}^{K} h_i'^(k) ) | 输出层，减少维度 |
我在做选股模型时，中间层用8头注意力，输出层用平均。8个头刚好能覆盖不同的市场关系维度，再多效果提升就不明显了。
避坑指南：我曾经在多头注意力上踩过一个坑——头数太多导致过拟合。特别是当你的图数据比较稀疏时，8个头可能就够了，不要盲目追求多头。另外，每个头的维度要适当降低，保持总参数量不变。
GAT的完整前向传播
把上面这些串起来，一个GAT层的前向传播就是：
输入: 节点特征矩阵 H ∈ R^(N×F)
邻接矩阵 A ∈ R^(N×N)
1. 对每个节点 i，找到它的邻居集合 N_i
2. 对每个邻居对 (i, j)，计算注意力系数 e_ij
3. 用 softmax 归一化得到 α_ij
4. 用 K 个注意力头分别聚合特征
5. 拼接或平均得到输出 h_i'
输出: 新的节点特征矩阵 H' ∈ R^(N×F')这个流程看起来简单，但实际实现时要注意效率问题。我建议用矩阵运算一次性计算所有注意力系数，而不是逐节点循环。PyTorch里用广播机制就能搞定。
GAT vs GCN：一个直观对比
为了让你更清楚GAT的优势，我画了个对比图：
从图上可以直观看到：GCN给所有邻居分配相同的权重（0.25），而GAT能根据节点特征自适应地分配不同的注意力权重。这在处理异构图中特别有用。
实际应用中的注意事项
最后分享几个我在实战中总结的经验：
- 图结构稀疏时：注意力机制的优势更明显，因为模型可以聚焦在少数重要邻居上
- 特征维度不宜过高：我一般控制在64-128维，太高了注意力计算容易不稳定
- 训练时加dropout：在注意力系数上做dropout，能有效防止过拟合
- 多头注意力的头数：4-8头是个不错的起点，具体要看你的数据规模
个人建议：刚开始用GAT时，先跑一个单头注意力的版本作为baseline。等模型能收敛了，再加多头。这样调试起来更可控，也方便对比多头带来的提升。
好了，GAT的核心原理就讲到这里。数学推导虽然看起来复杂，但本质上就是「学习邻居权重」+「加权聚合」这两个步骤。下一节我们会用PyTorch实现一个完整的GAT层，到时候你就能看到这些公式是如何变成代码的了。
公众号:蓝海资料掘金营，微信deep3321