2、大模型时代的算力需求：指数级增长的背后

说实话，我入行那会儿，训练一个像样的语言模型，几块GPU跑几天就完事了。现在呢？你想想看，GPT-4、Qwen这类大模型，一次训练动辄上万张卡，跑上几个月。这背后是什么？是算力需求的指数级爆炸。

我个人习惯把这个问题拆成三块来看：训练到底有多吃算力？推理为什么也不省心？以及，我们卡在哪儿了？

2.1 训练算力：从千亿到万亿的跨越

先看一组数字。我记得2020年GPT-3发布时，1750亿参数，训练用了几千张V100。到了Qwen-72B，虽然参数规模没到万亿，但训练数据量和上下文长度都翻了好几倍。这直接导致算力需求不是线性增长，而是指数级攀升。

为什么会这样？说白了，大模型的训练算力主要由三个因素决定：

• 模型参数量：参数越多，每次前向和反向传播的计算量就越大。这个关系几乎是线性的。
• 训练数据量：按照Scaling Law，模型越大，需要的数据也越多。数据量一上去，训练步数就跟着涨。
• 上下文长度：Qwen支持32K甚至更长的上下文。注意力机制的计算量是序列长度的平方。嗯，这里要注意，长上下文带来的算力开销是超线性的。

我在项目中遇到过一件事。当时我们尝试把Qwen的上下文从8K扩展到32K，结果单次训练迭代的时间直接翻了6倍。不是4倍，是6倍。因为注意力计算的复杂度是O(n²)，再加上显存带宽的限制，实际开销比理论值还高。

2.2 推理算力：被低估的“隐形杀手”

很多人以为训练完了就万事大吉。其实推理才是真正的“隐形杀手”。

训练再贵，也是一次性投入。推理呢？每个用户每次对话都要消耗算力。你想想看，如果Qwen的API每天被调用上亿次，那推理算力的总消耗很快就会超过训练。

训练和推理的算力差异，我总结为三点：

维度	训练	推理
计算模式	批量并行，高吞吐	串行生成，低延迟要求
显存需求	存储梯度、优化器状态	主要存储KV Cache
瓶颈	计算能力（FLOPS）	显存带宽 + 计算能力
优化方向	分布式并行、混合精度	量化、剪枝、投机采样

我曾经踩过一个坑。当时我们部署Qwen-7B做在线服务，以为7B模型不大，几块卡就够了。结果上线后发现，并发一高，延迟就飙升。为什么？因为推理时每个请求都要维护一个KV Cache，并发多了，显存带宽成了瓶颈。说白了，推理的算力需求不是看模型大小，而是看吞吐量×延迟要求。

2.3 算力瓶颈：我们到底卡在哪儿？

现在的大模型算力瓶颈，说白了就是三个字：不够用。但具体卡在哪儿，我拆开来说。

第一，单卡算力天花板。 摩尔定律放缓了。H100比A100强，但强得有限。单卡算力已经很难再翻倍了。你想想看，如果单卡算力不涨，那只能靠堆卡。但堆卡又带来通信瓶颈。

第二，通信瓶颈。 我参与过一个千卡集群的训练项目。理想情况下，千卡应该达到单卡性能的1000倍。但实际上呢？能到700倍就不错了。剩下的300倍都浪费在通信上了。尤其是All-Reduce操作，卡越多，通信开销越大。

第三，显存墙。 这个我感触最深。Qwen-72B用FP16存，光模型权重就要144GB。一张A100才80GB显存。所以必须用模型并行，把模型切到多张卡上。但切得越碎，通信越频繁，效率越低。

第四，能效比。 训练一次GPT-4，耗电量够一个家庭用几十年。这不是开玩笑。算力需求指数级增长，但电力供应和散热能力跟不上。我见过一些数据中心，因为电力配额不够，只能让GPU降频运行。

2.4 一张图看懂算力需求

下面这张图，是我自己梳理的。它展示了从模型规模到算力需求，再到瓶颈的完整链路。

这张图其实想表达一个意思：算力需求是模型规模驱动的，但瓶颈是多维度的。 你光堆算力没用，得把通信、显存、能效都考虑进去。

2.5 对芯片厂商的启示

讲到这里，你应该能理解为什么Qwen适配对芯片厂商这么重要了。大模型的算力需求是刚性的，而且还在涨。芯片厂商如果能针对大模型的训练和推理做优化，比如：

• 提升显存带宽，缓解KV Cache瓶颈
• 优化通信架构，减少All-Reduce开销
• 支持更高效的量化计算，降低推理成本

那你的芯片就能在市场上站稳脚跟。说白了，谁能让大模型跑得更快、更省、更稳，谁就能拿到下一波红利。