第2章核心性能指标解析

核心性能指标解析：算力、带宽、功耗与PCIe

各位同学，今天我们来聊聊选型时最绕不开的几个硬指标。说实话，很多刚入行的朋友一看到TOPS、TFLOPS这些参数就头大，觉得数字越大越好。其实不然，我见过不少项目，选了个算力最高的卡，结果实际跑起来还不如隔壁团队的中端卡。为什么？因为性能是个系统工程，咱们得把每个指标都吃透。

算力是加速卡最直观的指标，但这里有个坑——你得先搞清楚它说的是什么精度。

TOPS：Tera Operations Per Second，万亿次操作/秒。通常用于整数运算，比如INT8、INT4。AI推理场景最常用。
TFLOPS：Tera Floating-point Operations Per Second，万亿次浮点运算/秒。用于FP16、FP32、FP64。训练场景更看重这个。

我个人习惯，先看应用场景再选指标。做推理，比如图像分类、目标检测，INT8的TOPS就够了。做训练，尤其是科学计算，那必须看FP32甚至FP64的TFLOPS。

避坑指南：我曾经遇到一个供应商，宣传卡有200 TOPS算力，结果仔细一看是INT4的。我们实际需要INT8精度，换算下来只剩50 TOPS。所以，一定要问清楚精度！

这里有个简单的换算关系，大家记一下：

FP32算力 ≈ INT8算力 / 2
FP16算力 ≈ INT8算力 / 1.5
INT4算力 ≈ INT8算力 * 2

嗯，这只是个大概，不同架构会有差异。但至少能帮你快速判断，供应商有没有在数字上玩花样。

算力再高，数据喂不进去也是白搭。内存带宽就是这条输油管。我见过一个项目，选了块算力超强的卡，结果跑大模型时，大部分时间都在等数据从内存搬到计算单元。说白了，就是带宽成了瓶颈。

内存带宽的计算公式很简单：

带宽 = 内存频率 × 位宽 × 通道数 / 8

举个例子，一块卡用HBM2e内存，频率2GHz，位宽1024-bit，4个通道：

带宽 = 2 × 10^9 × 1024 × 4 / 8 = 1.024 TB/s

你看，HBM的优势就在于位宽大、通道多。相比之下，GDDR6虽然频率高，但位宽只有32-bit，带宽就差远了。

我的经验：选型时，算力与带宽的比值（Ops/Byte）很关键。如果这个比值太高，说明卡容易“饿着”。一般推理场景，比值在10-20之间比较合理。训练场景，比值可以高一些，但别超过50。

功耗这事，很多人不重视。觉得只要性能好，多费点电无所谓。但实际部署时，功耗直接决定了你的散热方案、电源容量，甚至机柜密度。

TDP（Thermal Design Power）是热设计功耗，单位瓦特。它告诉你，这块卡满负荷运行时，散热系统需要带走多少热量。

我记得有一次，客户非要在一台1U服务器里塞4块300W的卡。结果散热根本压不住，跑不到10分钟就降频。最后只能换2U机箱，重新设计风道。所以，功耗这事，千万别想当然。

注意：TDP不等于实际功耗。实际功耗可能比TDP低，也可能高（比如超频时）。选电源时，建议留出20%-30%的余量。

最后说说PCIe带宽。这块卡跟CPU、内存之间的数据交换，全靠PCIe总线。如果PCIe带宽不够，算力再强也发挥不出来。

PCIe的版本和通道数决定了带宽：

你想想看，如果卡的内存带宽是1 TB/s，但PCIe只有16 GB/s，那数据从CPU传到卡上就得等很久。尤其是做分布式训练时，多卡通信全靠PCIe，带宽不够直接拖慢整个集群。

避坑指南：我曾经遇到过一块卡，标称PCIe 4.0 x16，但实际插在PCIe 3.0的槽上，带宽直接砍半。所以，选型时一定要确认主板支持什么版本，别买回来才发现不匹配。

下面这张图，是我自己总结的。它把四个指标的关系画清楚了。算力是核心，但内存带宽、PCIe带宽、功耗三者共同决定了算力能发挥多少。

说白了，这四个指标就像木桶的四块板。哪块短了，整体性能就上不去。选型时，别只看算力，得综合评估。

我的建议：先定场景，再定指标优先级。比如边缘推理：功耗 > 算力 > 内存带宽 > PCIe。数据中心训练：算力 > 内存带宽 > PCIe > 功耗。这样选型才不会跑偏。

好了，核心指标就讲到这里。记住，数字是死的，场景是活的。下次看到一块卡的参数表，你应该知道怎么拆解了。