4. 算力评估方法论：理论算力与实际算力的鸿沟
各位做芯片选型的朋友，咱们今天聊个实在话题。你拿着芯片厂商的 datasheet，上面写着「XX TOPS」，心里是不是觉得稳了？
我告诉你，千万别被那个数字忽悠了。理论算力跟实际跑出来的效果，中间差着十万八千里。我自己就踩过这个坑，今天咱们把它掰开揉碎了讲清楚。
4.1 理论算力：MACs 与 TOPS 到底在算什么？
先说说理论算力。说白了，就是芯片在理想状态下，每秒能完成多少次乘加运算。
- MACs：乘加操作次数。一次 MAC = 一次乘法 + 一次加法。
- TOPS：每秒万亿次操作。1 TOPS = 10^12 次操作/秒。
举个例子，一个卷积层，输入是 224x224x3，卷积核是 3x3x64，输出是 224x224x64。那它的 MACs 怎么算？
MACs = 输出特征图尺寸 × 卷积核尺寸 × 输入通道 × 输出通道
= (224 × 224) × (3 × 3) × 3 × 64
= 86,704,128 ≈ 86.7M MACs嗯，这里要注意，MACs 和 FLOPs 不是一回事。1 个 MAC 约等于 2 个 FLOPs（一次乘法和一次加法）。有些厂商喜欢用 FLOPs 报数，数字看着更大，你心里要有数。
核心观点：理论算力是上限，不是实际表现。就像汽车发动机的「最大功率」，你日常开车永远用不到那个值。
4.2 实际算力：FPS 与延迟才是真功夫
理论算力再高，跑不动模型也是白搭。实际算力看两个指标：FPS（每秒帧数）和延迟（Latency）。
我在项目中遇到过一件事：某款芯片标称 32 TOPS，但跑 YOLOv5s 只有 45 FPS。另一款标称 20 TOPS 的芯片，优化后能跑到 60 FPS。为什么？
因为实际算力受太多因素影响了：
- 内存带宽：数据搬不动，算力再强也白搭。我见过不少芯片，算力够，但 DDR 带宽成了瓶颈。
- 算子效率：芯片对某些算子（比如 Depthwise Conv）支持不好，效率直接打五折。
- 数据搬运开销：CPU 到 NPU 的数据传输，有时候比计算本身还慢。
- 框架适配：同样的模型，TensorRT 和 ONNX Runtime 跑出来，帧率能差 30%。
我的建议：选型时别只看 TOPS，要求厂商提供你目标模型的实际 FPS 数据。拿不到？那就自己带模型去跑。
4.3 模型复杂度对算力的影响
模型复杂度直接决定了算力需求。你想想看，一个 MobileNet 和一个 ResNet-50，算力需求能差一个数量级。
我习惯用这几个指标来评估模型复杂度：
| 指标 | 含义 | 对算力的影响 |
|---|---|---|
| 参数量（Params） | 模型权重数量 | 影响内存占用和带宽 |
| 计算量（MACs） | 乘加操作次数 | 直接影响理论算力需求 |
| 内存访问量 | 数据读写总量 | 影响实际吞吐量 |
| 算子类型 | Conv/FC/Attention 等 | 影响硬件利用率 |
举个例子，同样是 10G MACs 的模型，如果全是标准卷积，芯片利用率可能到 80%。但如果包含大量 Depthwise Conv 和 Reshape 操作，利用率可能掉到 30%。
避坑指南：我曾经选了一款芯片，理论算力 40 TOPS，但跑 Transformer 模型时，因为对 Attention 算子支持不好，实际 FPS 还不如另一款 20 TOPS 的芯片。所以，一定要拿你的目标模型去测。
4.4 数据精度：INT8 / FP16 / FP32 的权衡
数据精度是算力评估里最容易被忽略的一环。说白了，精度越低，算力越高，但模型精度可能会掉。
咱们看看常见精度的对比：
| 精度类型 | 位宽 | 相对算力 | 模型精度损失 | 适用场景 |
|---|---|---|---|---|
| FP32 | 32-bit | 1x（基准） | 无 | 训练、高精度推理 |
| FP16 | 16-bit | 2x - 4x | 极小（<0.5%） | 大多数推理场景 |
| INT8 | 8-bit | 4x - 8x | 0.5% - 2% | 嵌入式、边缘计算 |
| INT4 | 4-bit | 8x - 16x | 1% - 5% | 极端低功耗场景 |
为什么会这样？因为精度越低，硬件可以在相同面积内塞入更多的计算单元。INT8 的乘法器比 FP32 小 4 倍，所以算力可以翻好几倍。
但这里有个坑：量化后的模型精度不一定能保证。我遇到过 INT8 量化后，模型精度掉了 3%，直接导致检测漏报。后来用了混合精度（部分层用 FP16，部分层用 INT8）才解决。
我的经验：选型时，别只看芯片支持什么精度。要看它实际能跑出多少有效算力。有些芯片 INT8 算力标得很高，但量化工具不行，模型精度掉得厉害，那这个算力就是虚的。
4.5 实战：如何评估芯片的真实算力？
说了这么多，咱们来点实际的。我一般按这个流程来评估：
- 拿到芯片的 benchmark 数据：要求厂商提供常见模型（ResNet-50、YOLOv5、MobileNet）的 FPS 和延迟。
- 自己跑目标模型：用芯片的 SDK 或框架，跑你的模型。注意要测端到端延迟，包括预处理和后处理。
- 计算实际利用率：实际 FPS × 模型 MACs / 理论 TOPS。这个值越高，说明芯片利用率越好。
- 评估精度损失：用 INT8 跑一遍，跟 FP32 对比，看 mAP 或准确率掉了多少。
- 压力测试：同时跑多个模型，或者跑高分辨率输入，看芯片会不会降频。
小技巧：我习惯用「有效算力」这个概念。有效算力 = 实际 FPS × 模型 MACs。这个值比 TOPS 更能反映芯片的真实能力。
最后说一句，算力评估不是一锤子买卖。芯片的驱动、框架、工具链都在不断更新，同一个芯片，半年后的表现可能比现在好 20%。所以，选型时要留有余量，别把算力用得太满。
好了，这一章就到这里。下一章咱们聊聊具体的芯片选型流程，从需求分析到最终决策，每一步该怎么走。