3、Llama对GPU需求的冲击：为什么Llama系列让英伟达的H100/B200供不应求？
说实话，2023年初我第一次跑Llama-1 65B的时候，心里就咯噔了一下。当时我手头只有8张A100，硬是靠着模型并行把推理跑起来了。但那个显存占用，让我意识到——大模型对GPU的渴求，已经不是简单的“多买几张卡”能解决的了。
Llama系列开源之后，整个行业对GPU的需求直接炸了。为什么？我给大家拆开揉碎了讲。
3.1 显存墙：Llama模型到底吃多少显存？
先算一笔账。Llama-2 70B，参数总量700亿。每个参数如果是FP16精度，占2字节。光是把模型参数加载到显存，就需要：
70B × 2 bytes = 140 GB这还没算优化器状态、梯度、KV Cache。你想想看，一张H100的显存是80GB。单卡根本放不下。我见过不少团队，一开始想省钱，用单卡跑70B模型，结果OOM报错直接崩了。
实际部署时，显存占用是这样的：
| 模型规模 | 参数显存 (FP16) | KV Cache (4K上下文) | 总显存需求 | 最少GPU数 (H100 80GB) |
|---|---|---|---|---|
| Llama-2 7B | 14 GB | ~2 GB | ~16 GB | 1张 |
| Llama-2 13B | 26 GB | ~4 GB | ~30 GB | 1张 |
| Llama-2 70B | 140 GB | ~20 GB | ~160 GB | 2张 |
| Llama-3 405B | 810 GB | ~120 GB | ~930 GB | 12张 |
嗯，这里要注意。上面只是推理场景。如果是训练，还要加上优化器状态和梯度，显存需求直接翻3-4倍。我有个朋友做LoRA微调，以为70B模型两张H100够了，结果一跑发现显存爆了——他忘了算梯度累积的中间变量。
3.2 算力饥渴：为什么H100/B200成了硬通货？
显存只是门槛，算力才是真正的无底洞。Llama系列模型在推理时，计算量主要来自矩阵乘法。以Llama-2 70B为例，生成一个token需要做：
每层计算量 ≈ 2 × (hidden_dim × intermediate_dim) × num_layers
≈ 2 × (8192 × 28672) × 80
≈ 37.6 TFLOPs也就是说，每生成一个token，GPU要算37.6万亿次浮点运算。生成100个token，就是3760万亿次。H100的FP16算力是1979 TFLOPS，理论上每秒能算1979万亿次。但实际推理时，受限于内存带宽和通信开销，利用率能到50%就算不错了。
我做过一个测试：用8张H100跑Llama-2 70B，batch size设为1，每秒只能生成大约15个token。而B200的HBM3e内存带宽更高，能跑到20-25 tokens/s。这就是为什么大家疯抢B200——同样的模型，吞吐量能提升30%以上。
核心结论：Llama系列模型的计算密度极高，单次推理需要的算力远超传统CNN模型。H100/B200的高算力和大显存，恰好卡在了这个需求点上。
3.3 通信瓶颈：多卡并行时，GPU互联有多重要？
单卡跑不动，那就多卡。但多卡并行有个大坑——通信开销。Llama-2 70B用2张H100跑，需要做张量并行。每层计算时，数据要在两张卡之间来回传输。
我给大家画个图，看看多卡并行时的数据流：
看到中间那条橙色的虚线了吗？那就是All-Reduce通信。每次前向传播，两张卡都要同步梯度或中间结果。NVLink的带宽是900 GB/s，听起来很快对吧？但实际传输一个70B模型的梯度，数据量高达140GB。一次All-Reduce就要花掉150毫秒以上。
我做过一个实验：用2张H100跑Llama-2 70B，通信开销占了总时间的30%。如果换成4张卡，通信占比会飙升到50%以上。这就是为什么B200的NVLink带宽提升到了1.8 TB/s——它直接让通信时间砍半。
避坑指南：我曾经帮一个客户调优Llama推理，他们用了8张A100但性能很差。一查发现，他们用的是PCIe版A100，卡间通信走的是PCIe 4.0，带宽只有32 GB/s。换成NVLink版后，吞吐量直接翻了3倍。所以，多卡并行时，GPU互联带宽比算力更重要。
3.4 为什么是H100/B200，而不是其他芯片？
你可能会问：AMD的MI300X显存更大，性价比更高，为什么大家还是抢H100？
原因有三：
- 软件生态的护城河：CUDA和cuDNN对Llama的优化太深了。FlashAttention、Fused Kernel这些技术，都是英伟达先搞出来的。我试过在MI300X上跑Llama，同样的模型，性能只有H100的70%。不是硬件不行，是软件栈没跟上。
- NVLink的不可替代性：前面说了，多卡并行时通信是瓶颈。AMD的Infinity Fabric带宽只有NVLink的一半。对于70B以上的模型，这个差距会被放大。
- 生态惯性：说白了，大家都在用H100，你换MI300X，出了问题连个问的人都没有。我见过不少公司，明明MI300X更便宜，最后还是选了H100——因为团队里所有人都熟悉CUDA。
注意：B200虽然性能更强，但功耗也更高。单卡功耗达到1000W，需要液冷散热。如果你还在用风冷机柜，强行上B200会导致降频，性能反而比H100还差。我有个客户就踩过这个坑，最后不得不花大价钱改造散热系统。
3.5 总结：Llama如何重塑了GPU市场？
Llama系列开源后，整个行业对GPU的需求发生了质变：
- 显存需求从GB级跃升到TB级：以前跑BERT，一张V100就够了。现在跑Llama-3 405B，需要12张H100。单卡显存越大越好，H100的80GB成了最低配置。
- 算力需求从TFLOPS级跃升到PFLOPS级：Llama的矩阵乘法密度极高，对GPU的FP16/FP8算力提出了极致要求。H100的1979 TFLOPS，B200的4500 TFLOPS，正好满足了这一需求。
- 互联带宽成了新的瓶颈：多卡并行时，NVLink的带宽直接决定了训练和推理的效率。英伟达在B200上把NVLink带宽翻倍，就是看到了这个趋势。
说白了，Llama系列就像一把尺子，量出了现有GPU的极限。H100/B200之所以供不应求，不是因为英伟达营销做得好，而是因为它们在显存、算力、互联这三个维度上，恰好卡在了Llama模型的需求点上。其他芯片要么显存不够，要么算力不足，要么互联太慢——总有一个短板。
嗯，这就是为什么你看到现在H100一卡难求，B200还没量产就被预订一空。不是炒卡，是真的刚需。
公众号:蓝海资料掘金营，微信deep3321