一、大模型推理的算力饥渴：为什么需要硬件加速？
各位同学，今天咱们聊一个很现实的问题——大模型到底有多“吃”算力？
我2018年刚接触Transformer时，用一张V100跑BERT-base做推理，感觉还挺快的。但到了GPT-3、LLaMA-70B这个量级，情况完全变了。你想想看，一个700亿参数的模型，光是把参数从显存里搬一遍，就要搬几百GB的数据。这还没算中间激活值、KV Cache这些开销。
说白了，大模型推理就是一场“算力饥渴”的竞赛。传统CPU根本扛不住，通用GPU也开始吃力。于是，AI芯片崛起了。
1.1 摩尔定律失效：我们不再“白嫖”性能了
先聊个背景。摩尔定律说，芯片上晶体管密度每18-24个月翻一番。这个规律统治了半导体行业半个世纪。但到了7nm、5nm之后，物理极限来了——量子隧穿、漏电流、散热问题，每代制程的提升越来越小。
我记得2020年做项目时，用7nm工艺设计一个加速器，本以为性能能翻倍，结果实际只提升了30%。为什么？因为晶体管密度上去了，但频率上不去，功耗墙卡死了。
所以现在行业里有个共识：摩尔定律已死，但计算需求还在指数增长。怎么办？只能靠架构创新——也就是AI芯片这条路。
核心观点： 制程红利吃完了，性能提升只能靠专用架构。这就是AI芯片崛起的根本原因。
1.2 大模型推理的两堵墙：访存墙与计算墙
做硬件加速，首先得搞清楚瓶颈在哪。大模型推理时，主要遇到两堵墙：访存墙和计算墙。我一个个说。
1.2.1 访存墙：数据搬不动
先看一个典型场景。LLaMA-70B做一次token生成，需要加载全部700亿参数。假设用FP16精度，那就是140GB的数据。而目前最先进的H100显存是80GB，根本放不下。就算用多卡，每张卡也要频繁地从HBM（高带宽显存）里搬数据。
问题来了：HBM的带宽是多少？H100的HBM3带宽大约是3.35TB/s。听起来很快对吧？但算一笔账：
- 加载140GB参数，需要 140 / 3350 ≈ 42ms
- 而计算这些参数做一次矩阵乘法，可能只需要5ms
你看，大部分时间都花在搬数据上，而不是算数据。这就是访存墙。
我在项目中遇到过类似问题。当时做BERT-large的实时推理服务，发现GPU利用率只有20%多。一分析，瓶颈全在显存带宽上。后来换了HBM2e的卡，带宽翻倍，吞吐量直接涨了1.8倍。嗯，访存墙就是这么现实。
避坑指南： 我曾经以为只要堆算力就能解决问题，结果发现带宽才是真正的瓶颈。选芯片时，先看带宽，再看算力。
1.2.2 计算墙：算力用不满
访存墙之外，还有计算墙。你可能觉得，GPU有上万个CUDA核心，算力应该够用吧？但实际情况是，大模型推理时，计算单元经常“吃不饱”。
为什么？因为大模型推理有两个特点：
- batch size小：实时推理通常batch=1，矩阵乘法无法充分利用张量核心
- 注意力机制：自注意力计算中，QK^T的矩阵乘法规模随序列长度平方增长，但计算密度低
举个例子。H100的FP16算力是1979 TFLOPS，但做batch=1的LLaMA推理时，实际利用率可能只有10%-20%。说白了，算力是够的，但喂不饱。
我调试过一个模型，发现注意力层的计算时间占了总时间的60%以上。但看GPU的SM利用率，只有30%。为什么？因为注意力计算需要频繁读写KV Cache，访存又把计算给卡住了。你看，访存墙和计算墙其实是交织在一起的。
注意： 计算墙的本质不是算力不够，而是“计算密度”太低。单次计算量小，但访存开销大，导致计算单元空转。
1.3 从通用到专用：AI芯片的解题思路
既然通用GPU有这些问题，那专用AI芯片怎么解决？我总结了几条核心思路：
| 瓶颈 | 通用GPU的问题 | AI芯片的解法 |
|---|---|---|
| 访存墙 | HBM带宽有限，数据搬运耗时 | 片上SRAM缓存、近存计算、数据流优化 |
| 计算墙 | 小batch利用率低，注意力计算低效 | 稀疏计算、量化、专用注意力引擎 |
| 功耗墙 | 通用架构能效比低 | 脉动阵列、存内计算、定制数据通路 |
举个例子。Google的TPU用了脉动阵列（Systolic Array），把矩阵乘法做到极致。你想想看，脉动阵列里每个PE（处理单元）只做乘加运算，数据像流水一样流过，几乎没有访存开销。这就是针对计算墙的优化。
再比如，Cerebras的晶圆级芯片，直接把整个模型放在一片晶圆上，省掉了片间通信。这就是针对访存墙的优化——数据不用搬来搬去了。
1.4 一张图看懂：大模型推理的硬件加速逻辑
说了这么多，我画了一张图，帮你理清整个知识体系：
这张图把整个逻辑串起来了。从问题出发，到两堵墙的具体表现，再到AI芯片的解法，最后落到目标。你想想看，每一步都有明确的优化方向。
1.5 小结：为什么硬件加速是必选项？
总结一下。大模型推理的算力饥渴，本质上是计算需求增长 > 硬件性能提升的矛盾。摩尔定律失效后，通用处理器已经追不上模型规模的增长速度。
访存墙和计算墙，是横在实时推理面前的两座大山。要翻过这两座山，必须走专用硬件加速这条路。AI芯片不是锦上添花，而是雪中送炭。
我个人习惯把这个问题想得更简单一点：如果软件优化能解决，就不需要硬件了。但现实是，软件优化已经做到极致，剩下的只能靠硬件来扛。
下一节，我会带你深入分析AI芯片的架构设计，看看它们到底是怎么绕过这两堵墙的。
核心记忆点： 大模型推理 = 访存密集型 + 计算密集型。硬件加速的核心就是：减少访存、提高计算密度。
公众号:蓝海资料掘金营，微信deep3321