🚀 多GPU协同加速系统
30章 · 从入门到实战
🎯 友好 · 专业硬核
01
多GPU系统概述
为什么需要多GPU
应用场景
课程目标与路径
02
GPU架构基础
现代GPU计算核心
内存层次结构
PCIe & NVLink
03
并行计算模型
数据并行
模型并行
流水线并行
混合并行
04
通信原语与库
NCCL基础
All-Reduce
All-Gather
Reduce-Scatter
Broadcast
05
同步与异步训练
同步SGD
异步SGD
梯度累积
参数服务器
06
数据并行实战
PyTorch DDP原理
DistributedDataParallel
性能调优
07
模型并行实战
张量并行(Megatron)
序列并行
1D/2D切分
08
流水线并行实战
GPipe
PipeDream
1F1B调度
负载均衡
09
混合并行策略
3D并行
数据+张量+流水线
自动并行搜索
10
通信优化技术
梯度压缩
通信计算重叠
拓扑感知调度
11
显存优化技术
激活值重计算
ZeRO优化器
CPU Offloading
12
分布式训练框架
DeepSpeed
Megatron
Horovod
ColossalAI
13
DeepSpeed实战
ZeRO-Stage配置
混合精度训练
梯度裁剪
Checkpoint
14
Megatron-LM实战
张量并行配置
序列并行
微调与推理加速
15
Horovod实战
TensorFlow/Keras集成
弹性训练
性能基准
16
ColossalAI实战
策略自动选择
Gemini内存管理器
低资源训练
17
多节点集群部署
Slurm作业调度
Docker容器化
Kubernetes
网络配置
18
性能分析与Profiling
Nsight Systems
PyTorch Profiler
通信瓶颈分析
19
故障恢复与容错
训练中断恢复
Elastic Training
Checkpoint策略
心跳检测
20
大规模语言模型训练
GPT/BERT案例
数据预处理
训练稳定性
Loss Spike
21
多GPU推理加速
张量并行推理
流水线并行推理
KV-Cache
Continuous Batching
22
混合精度训练
FP16/BF16原理
Loss Scaling
AMP自动混合精度
数值稳定性
23
梯度压缩与量化
1-bit SGD
Top-K稀疏化
QSGD
PowerSGD
误差反馈
24
异步并行与去中心化
AllReduce瓶颈
去中心化SGD
Gossip协议
D-PSGD
25
异构计算协同
CPU-GPU协同
GPU-NPU协同
PCIe Direct Storage
统一内存
26
多GPU系统调优
计算与通信比例
Batch Size调优
数据加载优化
IO瓶颈
27
分布式文件系统
Lustre
GPFS
NFS优化
数据缓存
数据分片
28
多GPU系统监控
Grafana+Prometheus
GPU Metrics
告警规则
日志聚合
29
前沿趋势
GPU Direct RDMA
NVSwitch
CXL互联
可组合分解架构
30
综合实战项目
单卡到64卡训练LLaMA
完整流程
踩坑记录