第二章：硬件平台概览——CPU、GPU、NPU、FPGA、ASIC的特点与适用场景，边缘端与云端硬件对比

各位同学，欢迎来到第二章。这一章我们聊聊硬件平台。

说实话，很多搞算法的人对硬件是有点发怵的。我刚开始做部署时也一样，觉得「反正模型能跑就行，管它跑在什么上面」。后来被现实狠狠教育了几次——同样的模型，换了个芯片，推理速度差了十倍，甚至直接跑不起来。

所以，搞清这些硬件平台的特点，是部署工程师的基本功。今天我就把CPU、GPU、NPU、FPGA、ASIC这五兄弟，以及边缘端和云端的差异，给你掰扯清楚。

2.1 五大硬件平台：各自的本事与短板

先看一张总览表，心里有个底。

硬件类型	核心特点	典型功耗	适用场景
CPU	通用性强，控制逻辑好，单核性能强	几十瓦~几百瓦	传统服务器、轻量推理、预处理
GPU	并行计算强，适合矩阵运算	几十瓦~几百瓦	深度学习训练、云端推理
NPU	专为神经网络设计，能效比高	几瓦~几十瓦	边缘端推理、移动端AI
FPGA	可编程硬件，低延迟，灵活	几瓦~几十瓦	实时处理、协议加速、原型验证
ASIC	专用定制，性能极致，功耗最低	毫瓦~几瓦	大规模量产、特定算法加速

2.2 CPU：老大哥，但不是万能的

CPU是通用处理器。它的强项是处理复杂逻辑、分支预测、任务调度。说白了，它什么都能干，但干得不一定快。

在AI部署里，CPU通常用来做数据预处理、后处理，或者跑一些轻量模型。比如你用一个MobileNet做图像分类，在CPU上也能跑，但帧率可能只有个位数。

我个人习惯：如果模型很小（比如小于1MB），或者对延迟不敏感，我会优先用CPU。省事，不用考虑驱动兼容性。

避坑指南：我曾经在一个项目里，把整个推理都压在CPU上，结果并发一上来，CPU直接飙到100%，系统卡死。后来才把推理挪到GPU上，CPU只做调度。记住，CPU不是用来做大量并行计算的。

2.3 GPU：并行计算之王

GPU最初是为图形渲染设计的，后来发现它的并行架构特别适合矩阵运算。深度学习训练几乎离不开GPU。

GPU的核心是成千上万个CUDA核心（或者流处理器）。它们可以同时处理大量数据。你想想看，一个矩阵乘法，CPU可能要串行算几百次，GPU一次就搞定。

但GPU也有缺点：功耗高、体积大、价格贵。而且，不是所有模型都适合GPU。比如一些稀疏模型，或者小批量推理，GPU的优势就不明显。

我在项目中遇到过：有一次部署一个NLP模型，在GPU上推理延迟是10ms，但换成NPU后，延迟降到了3ms，功耗还低了10倍。所以，别迷信GPU，要看场景。

2.4 NPU：为AI而生的专用芯片

NPU，全称神经网络处理器。它是专门为深度学习设计的。内部有大量的乘加器（MAC），可以高效执行卷积、全连接等操作。

NPU的能效比非常高。举个例子，一个10W的NPU，推理性能可能相当于一个100W的GPU。所以，边缘端设备（手机、摄像头、IoT设备）几乎都用NPU。

我个人习惯：如果项目是边缘端部署，我第一选择就是NPU。比如瑞芯微的RK3588、华为的昇腾310、寒武纪的MLU系列，都是不错的选择。

避坑指南：我曾经用NPU跑一个YOLOv5模型，发现精度比GPU上低了2个点。后来排查发现，是NPU的量化工具对某些算子支持不好。所以，用NPU前，一定要先验证算子兼容性。

2.5 FPGA：灵活但门槛高

FPGA，现场可编程门阵列。它最大的特点是「可编程硬件」。你可以用Verilog或VHDL去描述一个硬件电路，然后烧录到FPGA上。

FPGA的延迟极低，适合实时性要求高的场景。比如5G基站的信号处理、金融交易的低延迟加速。

但FPGA的缺点也很明显：开发难度大、调试麻烦、成本高。而且，同样的算法，FPGA的功耗通常比ASIC高。

我在项目中遇到过：一个客户要求推理延迟必须小于1ms，GPU和NPU都做不到，最后只能用FPGA。我们花了两个月才把模型移植上去，但效果确实好。

2.6 ASIC：极致性能，但代价巨大

ASIC，专用集成电路。它是为特定算法量身定做的。比如比特币矿机、谷歌的TPU、苹果的A系列芯片里的神经网络引擎。

ASIC的性能和能效比是所有硬件里最高的。但它的开发成本极高，一次流片就要几百万甚至上千万。而且，一旦算法变了，芯片就废了。

我个人习惯：只有在大规模量产（百万级以上）且算法稳定的情况下，我才会考虑ASIC。否则，用FPGA或NPU更划算。

2.7 边缘端 vs 云端：场景决定一切

说完硬件类型，我们再聊聊部署位置。边缘端和云端，是两个完全不同的世界。

对比维度	边缘端	云端
典型硬件	NPU、低功耗GPU、FPGA	GPU、高性能CPU、ASIC
功耗限制	几瓦~几十瓦	几百瓦~几千瓦
延迟要求	毫秒级，甚至微秒级	几十毫秒~几秒
网络依赖	不依赖或弱依赖	强依赖
数据隐私	本地处理，隐私好	需上传，隐私风险
成本	单设备成本低，但数量多	单设备成本高，但数量少

边缘端的核心诉求是：低功耗、低延迟、实时性。比如自动驾驶、工业质检、智能门锁。你想想看，如果一辆自动驾驶汽车每帧图像都要上传到云端处理，那车早就撞了。

云端的核心诉求是：高性能、大吞吐、灵活扩展。比如训练大模型、处理海量数据、提供API服务。

避坑指南：我曾经在一个边缘端项目里，用了云端的模型（ResNet-152），结果在设备上根本跑不动。后来换成MobileNetV3，才勉强达到实时。记住，边缘端一定要选轻量模型。

2.8 总结：怎么选？

好了，这一章的内容就这些。最后给你一个简单的选择思路：

• 云端训练：GPU是首选，没得商量。
• 云端推理：大模型用GPU，小模型用CPU。
• 边缘端推理：优先NPU，其次低功耗GPU，最后FPGA。
• 极致低延迟：FPGA或ASIC。
• 大规模量产：ASIC，但前提是算法稳定。

嗯，这一章就到这里。下一章我们聊聊模型转换和量化，那是部署工程师的日常硬仗。