4. Roofline模型：算力与带宽的博弈
Roofline模型，说白了就是一张图，告诉你芯片的算力瓶颈到底在哪。我当年刚接触AI芯片时，总觉得这玩意儿太简单了——不就是两条线嘛。后来在项目中吃了亏，才发现这模型是真能救命。
它的核心思想其实很朴素：你的程序要么受限于计算速度，要么受限于数据搬运速度。没有第三种情况。你想想看，芯片再快，数据喂不进去也是白搭；数据搬得再快，算力跟不上也是浪费。
核心公式：
性能 = min(峰值算力, 峰值带宽 × Arithmetic Intensity)
说白了，就是取两个瓶颈中的最小值。
4.1 计算边界与存储边界
Roofline模型里有两条线，我习惯叫它们「天花板」。
- 计算边界（Compute Bound）：水平线，代表芯片的峰值算力。比如某款芯片的FP16算力是100 TFLOPS，那这条线就在100的位置。
- 存储边界（Memory Bound）：斜线，代表带宽限制。斜率就是带宽值，比如HBM2e的带宽是1.6 TB/s。
这两条线相交的地方，就是所谓的「拐点」。拐点对应的Arithmetic Intensity值，我管它叫「临界计算密度」。低于这个值，你的程序就是存储受限；高于它，就是计算受限。
我的经验：在项目中，我经常用这个拐点来判断优化方向。如果Arithmetic Intensity远低于拐点，就别死磕算力了，去优化数据搬运更划算。
4.2 Arithmetic Intensity：计算密度
Arithmetic Intensity（AI），中文叫「算术强度」或「计算密度」。公式很简单：
Arithmetic Intensity = 总计算量(FLOPs) / 总数据搬运量(Bytes)单位是FLOPs/Byte。这个值越大，说明你的计算越密集，越能充分利用算力。
举个例子：
- 一个矩阵乘法，如果矩阵很大，数据复用率高，AI可能达到几百甚至上千。
- 一个逐元素操作（比如ReLU），每个数据只算一次，AI可能只有0.5左右。
我记得有一次优化一个卷积层，发现AI只有2.3，远低于芯片的拐点值8。当时我就在想，这肯定是被带宽卡死了。后来通过算子融合，把AI提升到了6.7，性能直接翻了一倍。
注意：AI的计算方式有很多种，有的按原始数据量算，有的按实际搬运量算。我个人建议用实际搬运量，因为更贴近真实情况。你想想看，DDR搬一次数据和L1 cache搬一次数据，代价能一样吗？
4.3 Roofline模型在AI芯片上的应用
好了，理论说完了，咱们来点实际的。Roofline模型在AI芯片上到底怎么用？我总结了三个场景：
4.3.1 算子性能分析
拿到一个新算子，先算它的AI，然后往Roofline图上一标，立马知道瓶颈在哪。
比如我最近在调一个Attention算子：
算子: Flash Attention (batch=1, seq_len=4096, head_dim=128)
计算量: 约 4.2 GFLOPs
数据搬运: 约 1.8 GB (包括QKV矩阵和中间结果)
Arithmetic Intensity: 4.2 / 1.8 ≈ 2.33 FLOPs/Byte假设芯片的峰值算力是200 TFLOPS，带宽是2 TB/s，拐点AI = 200 / 2 = 100。2.33远小于100，说明这个算子是典型的存储受限。优化方向应该是减少数据搬运，而不是提升算力。
4.3.2 架构设计决策
在设计AI芯片时，Roofline模型能帮你做权衡。比如：
- 要不要加更多的MAC阵列？
- 要不要用HBM而不是DDR？
- Cache做多大合适？
我参与过一个芯片项目，初期规划算力是50 TFLOPS，带宽是1 TB/s。用Roofline一算，拐点AI=50。但主流视觉模型的AI普遍在10-30之间，这意味着大部分算子都跑在存储受限区。后来我们调整了方案，把算力降到40 TFLOPS，带宽提升到1.5 TB/s，实际性能反而更好了。
关键洞察：AI芯片设计不是堆算力就完事了。算力和带宽要匹配，否则就是木桶效应。我见过太多芯片，算力堆得老高，带宽跟不上，实际跑起来还不如隔壁家配置低的。
4.3.3 性能天花板预估
在项目早期，Roofline模型可以用来估算性能上限。比如你要部署一个BERT模型，先算每层的AI，然后看哪些层是瓶颈，提前规划优化方案。
我曾经用Roofline模型给一个客户做性能预估，他们一开始不信，觉得我们算得太保守。结果芯片流片回来一测，跟我们的预估误差不到10%。从那以后，Roofline模型就成了我们团队的标配工具。
4.4 实战：画一张Roofline图
光说不练假把式。下面我用SVG画一张典型的Roofline图，展示不同算子在图上的位置。
这张图里，ReLU和Add算子落在存储受限区，说明它们被带宽卡住了。Conv 3x3在中间区域，两边都沾点边。而大矩阵乘法和Conv 7x7在计算受限区，说明算力是瓶颈。
实用技巧：在实际项目中，我习惯把每个算子的AI和性能点都标在图上，然后用不同颜色区分算子类型。一眼就能看出哪些算子需要优化，哪些已经到天花板了。
4.5 避坑指南
最后，分享几个我踩过的坑：
- 别只看峰值算力：很多芯片的峰值算力是在理想条件下测的，实际跑起来根本达不到。我建议用实测值或者更保守的估计。
- 注意数据复用：AI的计算要考虑到数据复用。比如卷积的权重可以被多个输出通道复用，这时候实际搬运量会减少，AI会更高。
- 小心「伪计算受限」：有时候算子看起来在计算受限区，但实际上是因为数据搬运没优化好，导致算力没跑满。我曾经遇到过这种情况，优化了数据布局后，性能又提升了一大截。
嗯，Roofline模型就讲到这里。它虽然简单，但用好了是真能解决大问题。下次你在调优AI芯片性能时，不妨先画张Roofline图，看看瓶颈到底在哪。
公众号:蓝海资料掘金营，微信deep3321