分布式训练概述：为什么需要分布式训练
说实话，我刚接触分布式训练那会儿，心里也犯嘀咕：单机跑得好好的，干嘛非要折腾多机多卡？
直到有一次，我接了个BERT-large的微调任务。单张V100，显存32GB，模型加载完就占了20多GB，batch size只能设到4。跑一个epoch要三天半。我当时就坐在工位上，看着训练曲线一点点往上爬，心里那个急啊。
后来我换了个思路：把模型切到4张卡上，每张卡只负责一部分。你猜怎么着？训练时间从三天半压缩到了11个小时。嗯，这就是分布式训练的价值。
为什么需要分布式训练
说白了，就两个原因：模型太大和数据太多。
- 模型放不下：GPT-3有1750亿参数，单卡显存根本装不下。我见过最夸张的一次，一个多模态模型光参数就占了80GB，单卡V100只有32GB，你说怎么办？
- 数据跑不完：ImageNet有1400万张图片，单卡训练ResNet-152要跑两周。但如果你用8张卡并行，时间直接砍到两天。
- 超参数调优：我习惯在分布式环境下做超参搜索，因为可以同时跑多个实验。单机串行跑，一个学习率调三天，谁受得了？
核心观点：分布式训练不是炫技，是刚需。当你的单卡训练时间超过你的耐心极限时，就该上分布式了。
分布式训练的核心概念
这里我给大家拆解三个最常用的并行策略。你想想看，训练一个模型，无非就是数据和模型两样东西。怎么并行？就从这两个维度下手。
数据并行（Data Parallelism）
这是最常用、最容易上手的方式。每张卡上都放一份完整的模型副本，但只处理一部分数据。
举个例子：你有4张卡，batch size是64。每张卡分到16条数据，各自算梯度，然后汇总更新参数。
我在项目中遇到过一个问题：数据并行时，如果模型太大，单卡放不下，那就没法用。这时候就得考虑模型并行了。
我的建议：新手入门分布式训练，先从数据并行开始。TensorFlow的MirroredStrategy就是为这个场景设计的，配置简单，效果稳定。
模型并行（Model Parallelism）
模型太大，一张卡放不下？那就把模型切成几块，每张卡负责一块。
比如一个Transformer有12层，你可以把前6层放在卡0，后6层放在卡1。数据从卡0进去，算到第6层，把中间结果传给卡1，继续算后面的。
这里有个坑：通信开销。我曾经试过把模型切得太碎，结果大部分时间都花在卡间通信上了，训练速度反而比单卡还慢。嗯，教训深刻。
流水线并行（Pipeline Parallelism）
模型并行的升级版。你把模型切成多个阶段，每个阶段放在不同的卡上。数据像流水线一样，一批接一批地流过各个阶段。
我习惯用GPipe或者PipeDream这类框架来实现。它们会自动处理数据切分和梯度累积，省心不少。
但要注意：流水线气泡。就是某些卡在等数据的时候闲着没事干。我曾经调了一个星期，才把气泡率从40%压到15%。
| 并行策略 | 适用场景 | 优点 | 缺点 |
|---|---|---|---|
| 数据并行 | 模型能放进单卡 | 实现简单，扩展性好 | 模型太大时无法使用 |
| 模型并行 | 模型超大，单卡放不下 | 突破显存限制 | 通信开销大，实现复杂 |
| 流水线并行 | 模型层数深，计算量大 | 提高吞吐量 | 存在气泡，调优困难 |
TensorFlow分布式策略概览
TensorFlow 2.x提供了多种分布式策略，我按使用频率给大家排个序：
- MirroredStrategy：最常用的数据并行策略。同步训练，每张卡上模型一样，数据不同。我90%的项目都用它。
- MultiWorkerMirroredStrategy：多机多卡版MirroredStrategy。适合集群环境，支持GPU和TPU。
- TPUStrategy：专门为Google TPU设计的。如果你有TPU资源，这个策略性能最好。
- ParameterServerStrategy：参数服务器模式。适合超大模型，但配置复杂，我一般不用。
- CentralStorageStrategy：参数放在CPU上，计算在GPU上。适合GPU显存不够的情况。
避坑指南：我曾经在8卡机器上用了ParameterServerStrategy，结果因为参数服务器和worker之间的网络延迟，训练速度还不如单卡。后来换成MirroredStrategy，速度直接翻了6倍。所以，别盲目追求高级策略，适合的才是最好的。
好了，这一章我们聊了分布式训练为什么必要，三种并行策略的区别，以及TensorFlow提供的策略选择。下一章，我会手把手带你配置MirroredStrategy，跑一个真正的分布式训练任务。
记住一句话：分布式训练不是魔法，是工程。理解了原理，剩下的就是调参和踩坑了。