性能指标详解：吞吐量、延迟、功耗、能效比、精度
做AI芯片基准测试这些年，我见过太多人一上来就盯着某个指标猛看。比如只看算力，或者只看功耗。结果呢？芯片选型时踩坑，调优时走弯路。今天咱们就把这几个核心指标掰开揉碎，讲清楚它们到底是什么、怎么算、怎么权衡。
吞吐量：芯片的“搬砖能力”
吞吐量，说白了就是单位时间内能处理多少数据。对于AI芯片，常用指标是TOPS（Tera Operations Per Second，每秒万亿次操作）。
计算公式：
吞吐量 = 操作数 / 时间
单位：TOPS = 10^12 次操作/秒举个例子。一块标称100TOPS的芯片，理论上每秒能执行100万亿次操作。但注意，这是理论峰值。实际跑模型时，受限于内存带宽、数据搬运效率，往往只能达到峰值的30%-70%。
关键点：吞吐量≠实际性能。我习惯把理论峰值叫“纸面算力”，实际跑出来的才叫“有效算力”。
我的经验：选芯片时，别只看TOPS。我建议你拿自己的模型跑一遍，看实际吞吐量。曾经有个项目，理论200TOPS的芯片，跑YOLOv5只有40FPS，还不如另一块标称120TOPS的芯片跑出55FPS。为什么？内存带宽瓶颈。
延迟：从输入到输出的时间
延迟关注的是“单次推理要多久”。对于自动驾驶、语音助手这类实时场景，延迟比吞吐量更关键。
延迟的组成：
- 计算延迟：矩阵乘法、卷积等运算耗时
- 数据搬运延迟：从DDR到SRAM，再从SRAM到计算单元
- 调度延迟：任务排队、资源分配的时间
你想想看，如果自动驾驶的障碍物检测延迟超过100ms，那车都撞上了才识别出来，这芯片再高的TOPS也没用。
避坑指南：我曾经优化过一个语音唤醒模型，只看吞吐量，优化后提升了3倍。但一测端到端延迟，反而增加了。为什么？因为我把batch size调大了，单次推理处理更多数据，但单条数据的等待时间变长了。吞吐量和延迟，有时候是矛盾的。
功耗：芯片的“饭量”
功耗就是芯片工作时的能量消耗，单位是瓦特（W）。对于边缘设备，功耗直接决定电池续航和散热方案。
功耗的构成：
- 动态功耗：晶体管开关时消耗的能量，与频率、电压、活动因子相关
- 静态功耗：漏电流导致的功耗，与工艺节点、温度相关
嗯，这里要注意。7nm以下工艺，静态功耗占比越来越高。我做过一个项目，芯片待机时功耗占了总功耗的40%。这要是用在智能音箱上，用户一天不唤醒，电池就掉一半。
能效比：TOPS/W 才是真功夫
能效比 = 吞吐量 / 功耗，单位是TOPS/W。这个指标衡量的是“每瓦电费能换来多少算力”。
为什么能效比重要？
- 数据中心：电费是运营成本大头，能效比高意味着省钱
- 边缘设备：电池容量有限，能效比高意味着续航长
- 散热限制：很多场景不允许主动散热，能效比高意味着不烫手
我的观点：我个人习惯把能效比作为芯片选型的第一指标。算力不够可以堆芯片，但能效比不行，堆再多也是电老虎。
精度：FP32/FP16/INT8 的权衡
精度决定了模型推理的准确度，也决定了芯片的计算效率和存储需求。
三种精度的对比：
| 精度类型 | 位宽 | 动态范围 | 相对吞吐量 | 典型场景 |
|---|---|---|---|---|
| FP32 | 32位 | ~10^38 | 1x | 训练、高精度推理 |
| FP16 | 16位 | ~10^5 | 2x-4x | 推理加速、混合精度训练 |
| INT8 | 8位 | 256个离散值 | 4x-8x | 边缘推理、量化部署 |
精度与性能的权衡：
- FP32：精度最高，但计算单元面积大、功耗高。适合训练场景，因为梯度更新需要高精度。
- FP16：精度够用，吞吐量翻倍。我建议推理场景优先考虑FP16，除非模型对精度极其敏感。
- INT8：吞吐量最高，但需要量化校准。曾经有个项目，INT8量化后精度掉了2%，但吞吐量提升了6倍。值不值？看场景。
我的经验：做INT8量化时，别直接硬量化。我习惯先做校准集统计，再对敏感层保留FP16。混合精度量化，往往能兼顾精度和性能。
核心逻辑：五个指标的权衡关系
下面这张图，是我自己总结的AI芯片性能指标权衡关系。你看完就明白，为什么没有完美的芯片，只有适合的芯片。
实战中的权衡策略
说了这么多理论，咱们聊聊实战中怎么权衡。
场景一：数据中心推理
- 优先考虑：能效比、吞吐量
- 可以牺牲：延迟（batch size可以大）
- 精度选择：FP16为主，INT8为辅
场景二：自动驾驶
- 优先考虑：延迟、精度
- 可以牺牲：吞吐量（单帧处理即可）
- 精度选择：FP32或FP16，INT8需谨慎
场景三：智能音箱
- 优先考虑：功耗、能效比
- 可以牺牲：吞吐量（唤醒词检测量不大）
- 精度选择：INT8为主
避坑指南：我曾经在一个智能门锁项目上，为了追求低功耗，直接用了INT8量化。结果呢？人脸识别准确率从98%掉到85%。用户站在门口死活打不开锁。后来我改成混合精度，关键层用FP16，非关键层用INT8，功耗只增加了15%，准确率回到了97%。
说白了，性能调优就是一场平衡游戏。没有银弹，只有根据场景做取舍。我建议你拿到一块新芯片时，先跑一遍这五个指标的全景测试，再根据业务需求确定优化方向。
我的习惯：做性能调优时，我会先固定三个指标，优化另外两个。比如固定精度和功耗，最大化吞吐量同时最小化延迟。这样目标清晰，不容易跑偏。
好了，关于性能指标的计算与权衡，就聊到这里。记住，指标是死的，场景是活的。理解每个指标背后的物理含义，比记住公式更重要。
公众号:蓝海资料掘金营，微信deep3321