大模型训练软件栈全景图

📚 共计 30 章节

大模型训练全景概览

从AI发展史看大模型崛起 · 核心挑战 · 软件栈全景宏观介绍

底层硬件与驱动层

GPU/NPU架构 · CUDA/cuDNN · 驱动安装与验证

分布式通信框架

数据/模型/流水线并行 · NCCL · RCCL与通信库

分布式通信

深度学习框架选型

PyTorch vs TF vs JAX vs Paddle · 分布式能力对比

PyTorch分布式训练实战

torch.distributed · DDP · 混合精度AMP

模型并行与张量并行

Megatron-LM · 张量并行 · 序列并行

模型并行Megatron

流水线并行

GPipe/PipeDream · 1F1B · 虚拟流水线

流水线调度

ZeRO优化器与显存优化

ZeRO Stage 1/2/3 · Offload · DeepSpeed

混合精度训练

FP16/BF16/FP8 · Loss Scaling · Transformer Engine

数据加载与预处理

DataLoader · WebDataset · Tokenizer · StreamingDataset

数据流水线

训练作业管理

Slurm · 容器化 · 监控与日志

模型检查点与容错

Checkpoint保存/恢复 · 异步检查点 · 中断恢复

容错检查点

训练监控与可视化

TensorBoard/WandB · nvidia-smi · Profiler

监控可视化

超参数调优

学习率调度 · Batch Size · Optuna/Ray Tune

调优超参数

模型评估与验证

验证集评估 · Perplexity · GLUE/MMLU

模型压缩与量化

PTQ/QAT · GPTQ/AWQ · 剪枝与蒸馏

推理优化框架

vLLM · TensorRT-LLM · PagedAttention

模型服务化部署

FastAPI+Triton · 版本管理 · 弹性伸缩

数据并行进阶

FSDP原理 · FSDP vs DDP vs ZeRO · 实战配置

FSDP数据并行

混合专家模型 (MoE)

MoE架构 · Switch Transformer · 负载均衡

长序列训练技术

FlashAttention · Ring Attention · ALiBi/RoPE

长序列注意力

训练稳定性与调试

Loss爆炸 · 梯度裁剪 · NaN检测 · 随机种子

调试稳定性

数据并行与模型并行混合策略

3D并行 · 并行策略选择 · 实际案例

国产芯片适配

昇腾/MindSpore · 昆仑芯/Paddle · 寒武纪

云原生训练

Kubernetes+Kubeflow · Spot实例 · 混合云

训练成本优化

算力成本分析 · 存储优化 · 吞吐量提升

开源训练框架对比

DeepSpeed vs Megatron vs ColossalAI · 选型建议

大模型训练的未来趋势

超大规模集群 · 新型硬件 · 生态整合

实战案例：从零训练一个7B模型

数据准备 · 模型配置 · 训练脚本 · 调优发布

课程总结与资源推荐

核心回顾 · 论文/书籍 · 社区与持续学习