1. NPU基础认知：瑞芯微NPU架构概览

大家好，我是你们的讲师。今天咱们聊聊NPU，也就是神经网络处理器。说实话，我第一次接触瑞芯微的NPU是在2019年，当时RK3399Pro刚出来，我还在想：这玩意儿到底能干啥？后来做项目踩了不少坑，才慢慢摸透了它的脾气。

先问大家一个问题：为什么需要NPU？CPU跑AI不行吗？嗯，当然可以，但效率太低。我举个例子，你用CPU做图像分类，可能一秒钟处理两三张图；换成NPU，同样的功耗，能跑几十上百张。这就是专用硬件的魅力。

1.1 瑞芯微NPU架构概览

瑞芯微的NPU，说白了就是一个专门为神经网络计算设计的加速器。它的核心架构可以概括为三个部分：

• 计算单元（MAC阵列）：这是NPU的心脏，负责矩阵乘法和卷积运算。RK3588上有3个NPU核心，每个核心有4096个MAC单元，算力高达6TOPS。
• 存储系统：包括片上SRAM和外部DDR。我个人习惯把权重和激活值放在片上，这样延迟低、带宽高。
• 数据通路：负责数据搬运和格式转换。这里有个坑——数据对齐问题，我后面会讲。

你想想看，NPU和CPU最大的区别是什么？CPU是通用处理器，什么活都能干，但干得不够快；NPU是专才，只干神经网络这一件事，但干得又快又好。GPU呢？GPU虽然也能做并行计算，但它更擅长图形渲染，而且功耗高。NPU在能效比上，通常比GPU高一个数量级。

1.2 NPU与CPU/GPU的区别

我记得有一次，客户问我：为什么不用GPU跑模型？我反问他：你的设备是插电的还是电池供电的？如果是电池供电，GPU的功耗你扛不住。NPU的典型功耗只有几瓦，而GPU动辄几十瓦甚至上百瓦。

咱们用表格对比一下：

特性	CPU	GPU	NPU
计算模式	串行为主	大规模并行	专用并行
能效比	低	中	高
灵活性	极高	高	低（仅限AI）
典型功耗	5-15W	50-300W	1-8W
适用场景	通用计算	图形/科学计算	AI推理

为什么会这样？因为NPU内部做了大量针对性的硬件优化。比如，它支持INT8量化计算，而CPU和GPU原生支持的是FP32。INT8的计算速度比FP32快4倍，功耗却只有1/4。这就是NPU的杀手锏。

1.3 RK3588/RK3568等芯片的NPU算力对比

瑞芯微目前主流的几款芯片，NPU算力差异挺大的。我整理了一张表，方便大家选型时参考：

芯片型号	NPU算力	NPU核心数	典型应用
RK3588	6 TOPS	3核	高端边缘计算、智能NVR
RK3568	1 TOPS	1核	智能门禁、工业控制
RK3566	0.8 TOPS	1核	智能家居、低功耗设备
RK3399Pro	2.4 TOPS	1核	AI开发板、机器人

这里要注意，TOPS是理论峰值算力，实际能跑多少，还得看模型和带宽。我做过一个测试：RK3588上跑MobileNetV2，INT8量化后，推理延迟只有2ms；但跑ResNet-50，延迟就变成了15ms。为什么？因为ResNet-50的参数量大，内存带宽成了瓶颈。

所以，选型时不能只看算力，还要考虑：

• 模型大小：大模型需要更大的带宽和内存
• 实时性要求：比如视频流处理，需要30fps以上
• 功耗限制：电池供电的设备，尽量选低功耗芯片

1.4 我的个人经验总结

做了这么多年嵌入式AI，我最大的感受是：NPU不是银弹。它擅长推理，但不擅长训练；它擅长固定尺寸的模型，但对动态尺寸支持不好。所以，在实际项目中，我通常会这样做：

1. 先用CPU跑通模型，确保算法没问题
2. 再用NPU做量化推理，验证精度损失
3. 最后优化数据流水线，比如用DMA搬运数据

嗯，这里要注意一点：NPU的驱动和工具链，不同版本差异很大。我建议统一使用RKNN Toolkit 1.7.5以上版本，兼容性更好。

好了，这一章的内容就到这里。下一章，我们会深入讲解RKNN模型转换的完整流程，包括量化、校准、验证等关键步骤。到时候我会分享一些实战中的踩坑经验，敬请期待。