算力指标：TOPS、TFLOPS、算力利用率，如何看懂芯片的纸面性能

各位同学，今天我们来聊聊AI芯片的“纸面功夫”。

很多朋友拿到一款芯片，第一反应就是看TOPS。嗯，这没错。但我要说，只看TOPS，你可能会被坑得很惨。我在项目里见过太多“纸面猛如虎，实测弱成狗”的案例了。

一、TOPS和TFLOPS，到底在算啥？

先搞清楚定义。TOPS是Tera Operations Per Second，万亿次操作每秒。TFLOPS是Tera Floating-point Operations Per Second，万亿次浮点运算每秒。

说白了，TOPS算的是整数运算，TFLOPS算的是浮点运算。AI推理大多用整数，训练则偏重浮点。

举个例子。某款芯片标称200 TOPS，指的是INT8算力。如果换算成FP16，大概只有100 TFLOPS左右。为什么？因为一次浮点运算比整数运算复杂得多。

我个人习惯，拿到芯片先看精度。有些厂商喜欢玩文字游戏，用INT4算力来标TOPS，那水分就大了。

二、算力利用率，才是真正的照妖镜

纸面算力再高，用不起来就是废铁。算力利用率，指的是实际跑模型时，芯片能发挥出标称算力的多少百分比。

我在项目中遇到过一款芯片，标称100 TOPS，跑ResNet-50时实际只有30 TOPS。利用率才30%。另一款标称80 TOPS的芯片，利用率能做到70%以上。你说谁强？

为什么会这样？原因很多：

• 内存带宽瓶颈：算力再高，数据喂不进去也白搭
• 算子适配度：芯片对某些算子支持不好，跑起来效率极低
• 数据搬运开销：数据在片内片外搬来搬去，浪费大量时间

你想想看，如果一款芯片的算力利用率只有30%，那它标称的TOPS基本就是“虚胖”。

三、一张图看懂算力指标的关系

下面这张图，是我自己总结的。它把TOPS、TFLOPS、算力利用率、有效算力之间的关系画清楚了。

四、如何快速判断纸面性能的水分？

我总结了三个“看”字诀：

1. 看精度：标TOPS时用的是INT8还是INT4？INT4的TOPS要打五折看
2. 看带宽：算力与内存带宽的比值，我一般要求不超过10:1。超过这个数，利用率肯定上不去
3. 看实测：找几个主流模型（ResNet、BERT、YOLO）的跑分数据，对比一下

五、一个实用的对比表格

下面这个表格，是我做芯片选型时常用的对比维度。你可以直接拿去用。

对比维度	芯片A	芯片B	芯片C
标称TOPS（INT8）	100	80	120
内存带宽（GB/s）	50	80	40
算力带宽比	2:1	1:1	3:1
实测ResNet-50（fps）	800	1200	600
算力利用率	60%	85%	35%
有效算力（TOPS）	60	68	42

你看，芯片C标称最高，但有效算力最低。芯片B虽然标称只有80，但有效算力反而最高。这就是我常说的：别被纸面数据忽悠了。

六、我的个人建议

最后，说几句掏心窝子的话。

判断AI芯片的竞争力，我一般分三步走：

• 第一步：看标称算力，但只信一半
• 第二步：看算力利用率，找第三方评测数据
• 第三步：看生态和工具链，再强的芯片，不好用也是白搭

嗯，今天就讲到这里。记住一句话：纸面数据是参考，实测才是真理。