第一章：NPU与AI芯片概述——从CPU到NPU的演进、AI芯片分类与架构、NPU在边缘计算与数据中心的应用

1.1 从CPU到NPU：一场计算范式的革命

各位同学，咱们今天聊点实在的。你想想看，为什么这几年NPU突然火起来了？CPU不是一直在用吗？

其实，CPU是个全能选手。它能跑操作系统，能处理文字，能玩游戏。但全能也意味着它不专精。我打个比方，CPU就像一把瑞士军刀——什么都能干，但真要切大块肉，还是得用菜刀。

AI计算就是那块大肉。尤其是深度学习里的矩阵乘法、卷积运算，CPU干起来效率很低。为什么？因为CPU是串行执行的，一次只能处理几个数据。而神经网络动辄几百万个参数，你让CPU一个一个算，那得等到猴年马月。

我记得2017年做第一个AI加速项目时，用CPU跑一个简单的图像分类模型，一张图要算好几秒。后来换成GPU，瞬间降到几十毫秒。但GPU功耗太高，放在手机里根本扛不住。这时候，NPU就登场了。

NPU的全称是神经网络处理单元。它专门为AI推理设计。说白了，它把矩阵乘法、激活函数这些操作做成了硬件电路。一条指令下去，几百个乘法器同时开工。这种并行度，CPU看了只能叹气。

1.2 AI芯片的分类与架构

现在市面上AI芯片五花八门，但归纳起来就三类：GPU、FPGA、ASIC（NPU属于ASIC的一种）。

咱们先看GPU。NVIDIA的A100、H100就是典型。GPU有几千个CUDA核心，并行计算能力极强。但它的架构是为图形渲染设计的，跑AI其实是“跨界”。我见过不少团队用GPU做推理，功耗高得吓人，数据中心电费都交不起。

再看FPGA。这东西灵活，可以重新编程。适合算法还在迭代的场景。但FPGA的缺点是开发难度大，用Verilog写算法，调试起来很痛苦。我在项目中用过Xilinx的FPGA做AI加速，光时序收敛就折腾了两周。

最后是ASIC，也就是NPU。它把算法固定成硬件电路，效率最高。苹果的A系列芯片里的Neural Engine，华为的昇腾系列，都是NPU。它的架构通常包含：

• 计算阵列：由MAC（乘加运算单元）组成，负责矩阵乘法
• 片上存储：SRAM或寄存器文件，减少访存延迟
• 数据通路：控制数据在计算单元和存储之间的流动
• 控制器：解析指令，调度计算任务

1.3 NPU在边缘计算中的应用

边缘计算是什么？说白了，就是数据在本地处理，不上传云端。比如智能摄像头、手机、自动驾驶汽车。

边缘设备对功耗和延迟极其敏感。你想想看，自动驾驶汽车如果识别到障碍物，还要把图像传到云端去算，等结果回来车都撞上了。所以必须在本地做推理。

NPU在边缘计算中的优势很明显：

• 低功耗：几瓦甚至毫瓦级别，电池能撑住
• 低延迟：毫秒级响应，实时性有保障
• 高能效比：每瓦特算力远超CPU和GPU

我曾经参与过一个智能门锁的项目。门锁里要跑人脸识别，CPU算力不够，GPU又塞不进去。最后用了国产的NPU芯片，功耗只有0.5W，识别一张脸只要100毫秒。嗯，这才是正确的选择。

1.4 NPU在数据中心的应用

数据中心是另一个战场。这里不差电，不差空间，但差算力和带宽。

云服务商都在部署NPU集群。比如Google的TPU，亚马逊的Inferentia。这些NPU专门用来做AI推理，比如语音识别、图像搜索、推荐系统。

数据中心NPU和边缘NPU的架构不太一样：

特性	边缘NPU	数据中心NPU
功耗	1-10W	100-500W
算力	1-10 TOPS	100-1000 TOPS
存储	片上SRAM为主	HBM高带宽内存
互联	单芯片	多芯片互联，PCIe/NVLink
应用	实时推理	批量推理、训练

数据中心NPU的设计难点在于带宽。你算力再强，数据喂不进去也是白搭。所以高端NPU都用HBM（高带宽内存），带宽能到TB/s级别。我记得有一次做性能分析，发现计算单元利用率只有30%，瓶颈全在访存上。后来优化了数据复用策略，才把利用率拉到70%以上。

1.5 为什么你要学NPU的RTL设计？

你可能会问：市面上有现成的NPU芯片，我为什么还要自己设计？

原因很简单：定制化需求越来越多。大厂有自己的算法，需要定制NPU来跑。小厂买现成的NPU，但需要做集成和优化。这些工作都离不开RTL设计能力。

而且，NPU设计是数字芯片里最复杂的领域之一。你学会了NPU的RTL设计，再去设计其他芯片，基本就是降维打击。

好了，第一章就到这里。下一章我们开始动手，先搭一个最简单的MAC阵列。你准备好了吗？