图神经网络模型参数调优实战

📚 共计 30 章节

图神经网络基础回顾

图数据表示、消息传递机制、GCN/GAT/GIN核心原理对比。

学习率调优

学习率对GNN收敛的影响、余弦退火调度、warmup策略、自适应学习率方法。

优化器选择

SGD、Adam、AdamW、RMSprop在GNN中的表现对比、梯度裁剪技巧。

对比梯度裁剪

层数与深度

GNN层数对过平滑的影响、残差连接、跳跃连接、DeepGCN策略。

过平滑残差

隐藏层维度

维度选择经验法则、维度与过拟合关系、维度与计算效率平衡。

节点级Dropout、边级Dropout、DropEdge、DropNode对比与组合。

Batch Size调优

全图训练 vs 小批量训练、采样策略（Neighbor Sampling、Cluster-GCN）、显存优化。

正则化技术

L1/L2正则化、权重衰减、标签平滑、对比学习正则化。

正则标签平滑

激活函数选择

ReLU、LeakyReLU、ELU、GELU在GNN中的表现、激活函数位置。

BatchNorm、LayerNorm、GraphNorm、PairNorm对比与选择。

归一化GraphNorm

损失函数设计

交叉熵、均方误差、对比损失、Triplet Loss在节点分类/链接预测中的应用。

早停耐心值、验证集指标选择、模型保存与恢复最佳权重。

早停权重恢复

权重初始化

Xavier、Kaiming、Orthogonal初始化对GNN收敛的影响。

初始化Xavier

节点特征标准化、特征选择、特征增强（度、PageRank、聚类系数）。

边特征处理

边特征编码、边特征与消息传递的融合方式。

边特征融合

多任务学习

共享编码器、任务特定头、损失权重平衡、梯度冲突解决。

多任务梯度冲突

超参数搜索

网格搜索、随机搜索、贝叶斯优化、Optuna框架实战。

Bagging、Boosting、Stacking在GNN中的应用、投票策略。

教师-学生框架、软标签蒸馏、特征蒸馏、关系蒸馏。

蒸馏教师-学生

图数据增强（节点删除、边扰动、子图采样）、Mixup策略。

标签传播算法、自训练、协同训练、伪标签策略。

标签传播伪标签

图结构学习

邻接矩阵学习、图结构优化、可微分图生成。

结构学习可微分

注意力机制调优

多头注意力头数、注意力dropout、注意力温度系数。

注意力温度系数

时间序列GNN

时间编码、循环GNN、时空注意力、时序窗口选择。

时序时空注意力

异构图调优

元路径设计、异质注意力、关系类型权重、类型特定变换。

异构图元路径

大规模图训练

分布式训练、流水线并行、模型并行、梯度累积。

分布式梯度累积

可解释性调优

GNNExplainer、注意力可视化、梯度归因、敏感性分析。

可解释GNNExplainer

预训练策略、微调策略、域适应、少样本学习。

迁移少样本

剪枝、量化、低秩分解、轻量级GNN设计。

从零调优一个GNN模型完成节点分类任务、完整调优流程与最佳实践总结。

实战最佳实践