第2章：硬件选型基础：CPU、GPU、NPU、FPGA、ASIC的区别与适用场景，算力（TOPS）与功耗的权衡
做边缘端部署，第一关就是选硬件。
很多朋友一上来就盯着算力看，觉得TOPS越高越好。我刚开始也犯过这个错。结果项目做到一半，发现功耗压不住，散热成了大问题。嗯，今天咱们就把这几种芯片掰开揉碎了聊清楚。
2.1 五大计算单元：它们到底在干什么？
先给个直观的比喻。你想想看，CPU就像个大学教授，什么都会，但一次只能教一个学生。GPU呢，像个小学班主任，能同时管几十个学生做算术题。NPU更极端，它就是个流水线上的机械臂，只会做乘法加法，但做得飞快。
下面这张表，是我自己整理的核心区别，你直接拿去用：
| 芯片类型 | 核心优势 | 典型算力范围 | 功耗范围 | 我常用的场景 |
|---|---|---|---|---|
| CPU | 通用性强，控制逻辑好 | 几十~几百 GFLOPS | 5W~150W | 跑轻量逻辑、调度任务 |
| GPU | 并行计算强，生态成熟 | 1~100+ TOPS | 30W~300W | 训练、云端推理 |
| NPU | AI推理专用，能效比高 | 0.5~100+ TOPS | 1W~30W | 边缘端模型推理 |
| FPGA | 可重构，低延迟 | 0.1~10 TOPS | 5W~50W | 自定义算子、预处理 |
| ASIC | 极致能效，量产后成本低 | 1~1000+ TOPS | 0.5W~100W | 量产产品、专用芯片 |
核心观点：没有最好的芯片，只有最合适的芯片。选型的第一步，是搞清楚你的模型到底在什么场景下跑。
2.2 CPU：万金油，但别指望它跑大模型
CPU的优势在于灵活。你可以在上面跑Linux，调各种库，做复杂的控制逻辑。但说到AI推理，CPU的效率其实很低。
我记得有一次，客户非要用一颗Cortex-A72的芯片跑YOLOv5s。结果呢？帧率只有0.5 FPS，连幻灯片都不如。后来换了NPU，直接飙到30 FPS。
适用场景：模型预处理、后处理、控制逻辑、轻量级传统算法。
我的习惯：CPU只负责“动脑子”之外的事。比如图像解码、数据搬运、结果解析。真正的推理，交给专用硬件。
2.3 GPU：并行计算的王者，但功耗是硬伤
GPU天生适合做矩阵运算。一个模型推理，在GPU上可能比CPU快几十倍。但问题在于，GPU的功耗太高了。
你想想看，一块Jetson Orin的功耗是15W~60W，而一块桌面级RTX 4090，功耗直奔450W。这在边缘端根本扛不住。我做过一个无人机项目，用GPU的方案，电池只能飞8分钟。换成NPU后，直接飞到25分钟。
适用场景：需要高精度、大模型的边缘设备，且对功耗不敏感（比如有外接电源的工控机）。
避坑指南：我曾经在选型时只看算力，没算功耗。结果产品做出来，散热片比手掌还大，根本没法量产。记住，边缘端的功耗预算通常只有5W~30W。
2.4 NPU：边缘AI的“真香”选择
NPU是专门为神经网络设计的。它内部有大量的乘加器阵列，可以并行处理卷积、全连接这些操作。说白了，它就是为AI推理而生的。
我个人最喜欢NPU的一点是：能效比极高。比如瑞芯微的RK3588，NPU算力6 TOPS，功耗才几瓦。跑MobileNet系列模型，帧率轻松上百。
适用场景：绝大多数边缘AI推理任务，尤其是实时性要求高的场景（如安防、工业检测）。
关键点：NPU的算力单位是TOPS（Tera Operations Per Second），指的是每秒万亿次操作。但注意，不同厂商的TOPS计算方式可能不同。有的算的是INT8，有的算的是INT4。选型时一定要问清楚精度。
2.5 FPGA：灵活但开发成本高
FPGA可以让你在硬件层面自定义计算逻辑。如果你有一个非常特殊的算子，或者需要极低延迟的预处理，FPGA是很好的选择。
但说实话，FPGA的开发门槛很高。你得懂硬件描述语言（Verilog/VHDL），还得会时序约束。我刚开始接触FPGA时，光一个加法器就调了两天。嗯，那滋味不好受。
适用场景：需要自定义硬件加速、低延迟、小批量的场景。
我的建议：除非你的团队有硬件背景，否则优先考虑NPU或GPU。FPGA更适合做“补丁”式的加速，而不是主力推理单元。
2.6 ASIC：量产的终极形态
ASIC是专用集成电路。一旦流片成功，它的性能、功耗、成本都是最优的。但问题在于，ASIC的开发周期长（12~18个月），一次性工程费用高（百万级起步）。
我参与过一个智能门锁的项目，最终选用了ASIC方案。量产后，单颗芯片成本从FPGA的200元降到了20元。但前期投入确实大，老板差点没批预算。
适用场景：产品定型、大批量生产（年出货量10万+）、对成本和功耗有极致要求。
2.7 算力（TOPS）与功耗的权衡：实战中的“黄金法则”
很多新手选型时，只看TOPS。但TOPS高不代表实际推理快。为什么？因为还要考虑内存带宽、算子支持度、数据搬运开销。
我总结了一个简单的公式：有效算力 = 理论TOPS × 算子利用率 × 内存带宽系数。这个系数通常只有0.3~0.7。
举个例子：某NPU标称10 TOPS，但实际跑YOLOv5s时，因为内存带宽不够，利用率只有40%。那有效算力就是4 TOPS。而另一颗标称6 TOPS的芯片，因为内存带宽大，利用率能到80%，有效算力4.8 TOPS。反而更快。
实战建议：选型时，不要只看TOPS。一定要拿你的模型去跑一下，看实际帧率和功耗。我习惯的做法是：先定功耗预算（比如10W），再在这个范围内找算力最高的芯片。
2.8 选型决策树：我自己的“三板斧”
每次做选型，我都会问自己三个问题：
- 模型多大？ 小于10MB的轻量模型，NPU就够了。大于100MB的大模型，考虑GPU或高端NPU。
- 功耗多少？ 电池供电（<10W），选NPU或低功耗ASIC。有外接电源（>30W），可以上GPU。
- 量产多少？ 年出货<1万，用NPU或FPGA。年出货>10万，考虑ASIC。
这三个问题问完，基本就能锁定2~3款候选芯片了。然后拿实际模型去跑，看谁跑得快、发热小。
最后说一句：硬件选型没有标准答案。我见过用CPU跑出不错效果的，也见过用GPU翻车的。关键是你得理解你的模型、你的场景、你的成本。嗯，多踩几次坑，你就懂了。