01
分布式训练概述
什么是分布式训练 · 为什么需要 · 对比单机训练
入门核心概念
02
并行策略基础
数据并行 · 模型并行 · 流水线并行 · 混合并行
策略并行
03
通信原语
点对点 · AllReduce · AllGather · ReduceScatter · Broadcast
通信NCCL
04
同步与异步
同步训练 · 异步训练 · 梯度累积 · Stale Gradient
同步异步
05
参数服务器架构
Parameter Server · Master-Worker · Ring-AllReduce
架构经典
06
数据并行详解
原理 · 梯度同步 · Batch Size调整 · 数据加载优化
数据并行核心
07
模型并行详解
原理 · 层内切分 · 张量并行 · 序列并行
模型并行切分
08
流水线并行详解
Micro-batch · GPipe · PipeDream · 1F1B策略
流水线调度
09
混合并行策略
3D并行 (DP+TP+PP) · ZeRO-1/2/3 · FSDP
混合并行ZeRO
10
分布式训练框架
PyTorch DDP · Horovod · DeepSpeed · Megatron-LM · JAX
框架生态
11
PyTorch DDP实战
DDP原理 · DistributedSampler · 模型封装 · torchrun
实战PyTorch
12
DeepSpeed实战
配置 · ZeRO Stage · Offload · 混合精度训练
DeepSpeedZeRO
13
Megatron-LM实战
张量并行 · 流水线并行 · 模型切分策略
Megatron大模型
14
Horovod实战
安装 · hvd.DistributedOptimizer · 弹性训练
Horovod弹性
15
分布式数据加载
DataLoader · Sampler · Sharding · 内存映射 · 预处理流水线
数据IO
16
混合精度训练
FP16/BF16 · Loss Scaling · AMP
精度加速
17
梯度累积与优化
梯度累积 · Gradient Checkpointing · Activation Recomputation
显存优化
18
分布式优化器
LAMB · LARS · Adafactor · ZeRO优化器 · 通信压缩
优化器通信
19
通信优化
梯度压缩 · 量化通信 · 异步通信 · 拓扑感知
通信带宽
20
容错与弹性训练
故障检测 · Checkpoint/Restore · 弹性伸缩 · 动态调度
容错弹性
21
分布式训练监控
TensorBoard分布式 · NVIDIA DCGM · Nsys · Nvprof
监控Profiling
22
大规模模型训练实践
GPT-3/LLaMA配置 · 集群规划 · 网络拓扑 · 存储
大模型集群
23
分布式推理
模型并行推理 · 流水线推理 · 动态批处理 · KV Cache
推理部署
24
多模态分布式训练
视觉-语言模型 · 多模态数据并行 · 异构计算
多模态异构
25
强化学习分布式训练
RLHF分布式 · PPO分布式 · Reward Model训练
强化学习RLHF
26
联邦学习基础
联邦学习概念 · FedAvg · 安全聚合 · 差分隐私
联邦学习隐私
27
分布式训练性能调优
计算通信重叠 · 算子融合 · 内存优化 · IO优化
调优性能
28
集群与网络
InfiniBand vs Ethernet · RDMA · NCCL · Fat-Tree/DragonFly
网络拓扑
29
分布式训练案例分析
BERT · ResNet · MoE · 推荐系统训练
案例实战
30
未来趋势
超大规模模型 · 稀疏训练 · 异构计算 · 自动化并行 · AI编译器
前沿趋势