核心指标解析（上）：算力（TOPS/GOPS）、精度（FP32/FP16/INT8/INT4）、功耗与TDP
各位工程师朋友，咱们今天聊聊AI芯片选型时最绕不开的几个硬指标。说实话，我见过太多人一上来就盯着TOPS数字看，觉得越大越好。嗯，这事儿没那么简单。
我个人习惯把芯片选型比作配电脑——你不能只看CPU主频，还得看内存、显卡、散热是不是匹配。AI芯片也一样，算力、精度、功耗这三者必须放在一起看，才能判断这块芯片到底适不适合你的场景。
一、算力：TOPS与GOPS到底在说什么？
先说说算力单位。TOPS是Tera Operations Per Second，也就是每秒万亿次操作。GOPS是Giga Operations Per Second，每秒十亿次操作。1 TOPS = 1000 GOPS。
但这里有个坑——「操作」到底是什么操作？
我在项目中遇到过不少供应商，拿MAC（乘加运算）次数来标称TOPS，但实际跑神经网络时，很多操作并不是MAC。你想想看，一个卷积层里确实主要是MAC，但ReLU激活函数、池化层、拼接操作这些，根本不算MAC。所以标称TOPS和实际有效TOPS之间，往往有20%-40%的差距。
关键点：看算力指标时，一定要问清楚是「峰值TOPS」还是「有效TOPS」。峰值TOPS是理论最大值，通常只在特定条件下才能达到。
我建议你关注三个层面的算力：
- 峰值算力：芯片手册上写的那个数字，比如15 TOPS。这是理论天花板。
- 持续算力：长时间运行能稳定保持的算力。很多芯片跑几分钟就过热降频，持续算力可能只有峰值的60%。
- 有效算力：实际跑你的模型时能达到的算力。这个最真实，也最难测。
举个例子。我之前评估过一款号称32 TOPS的芯片，跑ResNet-50时，实际帧率换算下来只有18 TOPS左右。为什么？因为它的架构对3×3卷积优化得不够好，很多计算单元在空转。
二、精度：FP32、FP16、INT8、INT4怎么选？
精度这个话题，说白了就是「用多少比特来表示一个数」。比特越多，精度越高，但计算速度和能效比就越低。
| 精度类型 | 位宽 | 典型场景 | 相对FP32的算力比 |
|---|---|---|---|
| FP32 | 32位 | 训练、高精度推理 | 1× |
| FP16 | 16位 | 训练加速、推理 | 2×-4× |
| INT8 | 8位 | 推理部署 | 4×-8× |
| INT4 | 4位 | 极端边缘场景 | 8×-16× |
这里我要说一个我踩过的坑。曾经有个项目，为了追求极致性能，我把模型从FP32量化到INT4。跑起来确实快，但精度掉了3个点，客户直接拒收。后来我花了整整两周做量化感知训练，才把精度拉回来。
警告：不要盲目追求低精度。INT4虽然算力高，但量化误差大，对模型结构敏感。如果你的模型里有大量BN层或者shortcut连接，INT4量化后精度下降可能非常明显。
我个人建议的选型原则：
- 训练场景：FP32是底线，FP16可以加速但需要混合精度训练支持。
- 云端推理：FP16或INT8，看延迟要求。INT8能效比高，但需要校准数据集。
- 边缘推理：INT8是主流，INT4适合对精度不敏感的任务（比如简单的分类）。
为什么会这样？因为不同精度的动态范围不一样。FP32的动态范围大约是2^−126到2^127，而INT8只有-128到127。你想想看，如果模型权重分布很广，INT8可能直接溢出或者截断。
三、功耗与TDP：别被「峰值功耗」骗了
功耗这个指标，我见过太多人只看TDP（热设计功耗）。但TDP其实是个散热设计参考值，不是实际功耗。
我记得有一次评估一款边缘芯片，手册上写TDP 5W，我觉得挺低的。结果实际测试时，跑满负载瞬间功耗冲到8W，持续了3秒才降下来。嗯，这就是「瞬时功耗」和「稳态功耗」的区别。
看功耗指标时，我建议你关注这几个维度：
- 空闲功耗：芯片啥也不干时的功耗。这个在电池供电场景下特别重要。
- 典型功耗：跑常见模型时的平均功耗。这个最接近实际使用情况。
- 峰值功耗：瞬时最高功耗。决定了你的电源和散热设计余量。
- TDP：散热系统需要能承受的最大热量。通常等于或略高于典型功耗。
技巧：选型时，用「能效比」这个指标更靠谱。能效比 = 有效算力 / 典型功耗，单位是TOPS/W。比如一款芯片有效算力10 TOPS，典型功耗5W，能效比就是2 TOPS/W。这个数字越高，说明芯片越省电。
我曾经做过一个对比测试：A芯片标称32 TOPS，TDP 15W；B芯片标称20 TOPS，TDP 8W。只看TOPS的话A赢了，但算能效比——A是2.13 TOPS/W，B是2.5 TOPS/W。而且实际跑模型时，A因为架构问题有效算力只有18 TOPS，能效比直接掉到1.2 TOPS/W。B芯片有效算力16 TOPS，能效比2 TOPS/W。结果不言而喻。
四、三个指标怎么联动看？
好了，现在咱们有了算力、精度、功耗这三个维度。怎么综合评估？
我个人的方法是画一个「三角约束图」：
这张图想表达什么？三个指标互相制约。你想提高算力，往往要增加功耗；你想降低功耗，可能得牺牲精度；你想保持高精度，算力就上不去。
实际选型时，我建议你按这个步骤来：
- 先定精度：根据你的模型精度要求，确定最低可接受的精度类型（FP16还是INT8）。
- 再估算力：根据目标帧率和模型计算量，算出需要的有效算力。
- 最后看功耗：在满足前两个条件的前提下，选功耗最低的芯片。
举个例子。你有个目标检测模型，需要30 FPS，模型计算量是100 GMAC。那么需要的有效算力大约是 100 × 30 = 3000 GOPS = 3 TOPS。如果选INT8精度，芯片的INT8算力至少要3 TOPS以上。然后在这个范围内找功耗最低的。
总结一下：算力看有效值，精度看场景需求，功耗看典型值。三个指标联动分析，才能选出真正适合你的芯片。
好了，这一章就聊到这儿。下一章咱们继续聊剩下的核心指标——内存带宽、延迟、生态支持这些。到时候我会分享一些更具体的选型案例。