📘 SwiGLU · 显存优化
30章
⚡ 长序列建模
LLM
1
SwiGLU激活函数原理
从GLU到SwiGLU的演进，Sigmoid门控机制与Swish激活的结合。
2
长序列建模的显存瓶颈
注意力O(n²)复杂度，KV Cache显存占用，激活值显存分析。
3
SwiGLU在FFN中的角色
标准FFN vs SwiGLU-FFN，参数量翻倍带来的显存挑战。
4
激活检查点技术
以计算换显存，选择性检查点策略在SwiGLU中的应用。
5
张量并行与序列并行
分布式策略如何分摊SwiGLU的显存压力。
6
FlashAttention原理
分块计算、重计算、IO感知算法，减少注意力显存。
7
FlashAttention与SwiGLU协同
端到端训练中的显存分配优化。
8
混合精度训练
FP16/BF16下SwiGLU的数值稳定性与显存节省。
9
梯度累积与微批次
小显存跑大模型的经典技巧，对SwiGLU的影响。
10
ZeRO优化器
ZeRO-1/2/3如何分片优化器状态、梯度、参数，SwiGLU适配。
11
显存碎片化问题
动态分配与静态分配，SwiGLU中间激活的碎片化缓解。
12
重计算策略优化
手动重计算 vs 自动重计算，SwiGLU门控分支针对性重计算。
13
SwiGLU的量化感知训练
INT8/INT4量化对门控函数的影响，显存与精度权衡。
14
稀疏激活与MoE
SwiGLU在混合专家模型中的显存优势，Top-k路由。
15
序列并行深入
Ring Attention、DeepSpeed-Ulysses，SwiGLU通信模式。
16
显存profiling工具
PyTorch Memory Profiler、NVIDIA Nsight，定位SwiGLU热点。
17
SwiGLU的算子融合
Fused SwiGLU Kernel，减少Kernel Launch开销与中间显存。
18
虚拟流水线并行
PP与VP的显存均衡，SwiGLU层的放置策略。
19
异步数据加载与预取
CPU-GPU数据传输重叠，减少SwiGLU计算等待。
20
显存交换技术
CPU-GPU显存交换，SwiGLU激活的换入换出策略。
21
梯度压缩与通信优化
AllReduce带宽节省，SwiGLU梯度的稀疏化。
22
模型剪枝与SwiGLU
结构化剪枝对门控维度的影响，显存与速度平衡。
23
知识蒸馏与SwiGLU
小模型继承大模型SwiGLU知识，降低推理显存。
24
推理优化
KV Cache量化、PageAttention、SwiGLU推理显存分析。
25
连续批处理
动态batching与SwiGLU显存复用，减少碎片。
26
显存预留与池化
预分配显存池，SwiGLU显存分配模式优化。
27
编译优化
TorchDynamo、Triton编译SwiGLU，自动融合与显存优化。
28
异构计算
CPU+GPU协同，SwiGLU门控计算卸载到CPU。
29
实际案例分析
LLaMA、PaLM等模型中的SwiGLU显存优化实践。
30
未来趋势
新激活函数、新硬件特性、新显存架构对SwiGLU的影响。