2、算力需求：从TOPS到实际吞吐量，客户到底要多少算力？

这个问题，我几乎每次见客户都会被问到。

「你们芯片多少TOPS？」「200 TOPS够不够？」「500 TOPS是不是就稳了？」

说实话，每次听到这种问题，我心里都会咯噔一下。因为TOPS这个数字，说白了就是个「纸面参数」。我见过太多客户，拿着友商100 TOPS的芯片跑模型，结果实际吞吐量还不如我们50 TOPS的。为什么会这样？

2.1 TOPS到底是什么？

TOPS，Tera Operations Per Second，每秒万亿次操作。注意，是「操作」，不是「有效计算」。

我习惯把TOPS理解成「理论峰值」。就像一辆跑车，厂家说最高时速400公里，但你真在城市里开，能跑60就不错了。芯片也一样，TOPS是在最理想、最完美的条件下测出来的——数据排布完美、计算单元全开、没有内存瓶颈。

嗯，现实世界哪有这么完美？

2.2 从TOPS到实际吞吐量，差在哪？

我总结了一下，主要有三个「吃算力」的坑：

• 内存带宽瓶颈：算力再高，数据喂不进去也是白搭。我在一个项目中遇到过，芯片标称100 TOPS，但DDR带宽只有25.6 GB/s。跑ResNet-50时，计算单元大部分时间在等数据，实际利用率不到30%。
• 算子适配度：芯片对某些算子有硬件加速，对另一些只能靠软件模拟。比如Transformer里的Softmax，很多芯片没有专门硬件，跑起来效率极低。
• 数据精度：INT8、FP16、FP32，精度不同，算力差异巨大。有些芯片INT8能跑200 TOPS，FP16直接砍半。客户如果模型是FP16的，那200 TOPS就只剩100了。

你想想看，这三个坑一过，200 TOPS还剩多少？我见过最夸张的，实际吞吐量只有理论值的10%。

2.3 客户到底要多少算力？

这个问题没有标准答案。但我建议客户从「需求倒推」：

1. 先定场景：是实时视频分析（30fps），还是离线批量处理（吞吐量优先）？
2. 再定模型：用YOLOv8还是ResNet？模型大小、计算量（FLOPs）是多少？
3. 最后算需求：比如，YOLOv8s在FP16下，单帧推理需要10 GFLOPs。要跑30fps，就需要300 GFLOPs。换算成TOPS，大概0.3 TOPS。但这是纯计算，加上内存开销、系统损耗，实际可能需要1-2 TOPS。

2.4 一个真实的算力评估案例

去年有个做智慧安防的客户来找我。他们想用我们的芯片做视频结构化分析，要求同时处理16路1080p视频，每路25fps。

我让他们先跑个benchmark：

模型	精度	单帧耗时(ms)	单路吞吐(fps)	16路总吞吐(fps)
YOLOv8s	FP16	8	125	2000
ResNet-50	INT8	3	333	5328
Transformer(轻量)	FP16	25	40	640

你看，同样一颗芯片，跑不同模型，吞吐量差了一个数量级。客户如果只看TOPS，根本看不出这些差异。

2.5 算力评估的「三步法」

我建议客户按这个流程来：

1. 第一步：跑标准benchmark——用ResNet-50、YOLOv8、BERT等主流模型，测出实际吞吐量。
2. 第二步：跑客户自己的模型——这个最重要。把客户的模型部署到芯片上，看真实表现。
3. 第三步：留余量——按峰值需求的1.5-2倍选型。因为模型会变，场景会变。

说白了，算力不是越多越好，而是「够用且有余量」最好。多出来的算力，你付了钱却用不上，还多耗电、多发热。

2.6 一张图看懂算力评估逻辑

下面这张图，是我自己总结的算力评估框架。从场景需求出发，一步步落到芯片选型：

这张图的核心逻辑就是：从场景出发，倒推算力需求，而不是反过来。很多客户犯的错误就是先看芯片有多少TOPS，再想能干什么。顺序反了，结果往往不理想。

2.7 小结

算力这件事，我做了这么多年，最大的感悟就是：TOPS是给别人看的，实际吞吐量才是给自己用的。

客户问「要多少算力」时，我通常不会直接给数字。我会反问：「你的场景是什么？模型是什么？实时性要求多高？」然后带着客户一步步算。这样选出来的芯片，才是真正合适的。

嗯，下次再有人拿着TOPS来问我，我就把这篇文章甩给他。