第四章 芯片架构深度解析：CPU+GPU+NPU异构架构、数据流架构与冯诺依曼架构的差异、存算一体技术

做嵌入式AI这几年，我越来越觉得芯片架构这事儿，就像选房子——户型好不好，直接决定了你住得舒不舒服。CPU、GPU、NPU这些术语，大家天天挂在嘴边，但真正把它们揉在一起干活，里面的门道可不少。

今天咱们就聊聊异构架构、数据流架构和存算一体。这些概念听起来高大上，其实说白了，就是解决一个核心问题：数据怎么搬、怎么算、怎么存。

4.1 CPU+GPU+NPU：三兄弟各司其职

先说说异构计算。我习惯把CPU、GPU、NPU比作一个团队里的三个角色。

• CPU：项目经理。什么都能干，但一次只能处理一两件事。适合跑操作系统、控制逻辑、串行任务。
• GPU：流水线工人。擅长并行处理大量简单运算，比如图像渲染、矩阵乘法。但功耗高，不适合长时间跑推理。
• NPU：AI专才。专门为神经网络设计，乘加运算、激活函数、池化这些操作，它一个时钟周期能干一大片。

我在项目中遇到过一个问题：用GPU跑轻量级模型，功耗直接飙到5W，电池撑不住。后来换成NPU，同样的模型，功耗只有800mW。你想想看，这就是架构差异带来的实际影响。

4.2 冯诺依曼架构 vs 数据流架构

传统的冯诺依曼架构，大家都很熟悉：指令和数据存在同一个存储器里，CPU一条一条取指令、执行。这个模型统治了计算机几十年。

但到了AI时代，问题来了。神经网络计算的特点是：数据量大、计算模式固定、数据复用率高。冯诺依曼架构的瓶颈在于“存储墙”——CPU算得再快，数据从内存搬来搬去的时间，比计算本身还长。

数据流架构（Dataflow）是怎么解决的呢？

• 它不依赖指令流，而是数据驱动。数据准备好了，计算单元自动开始工作。
• 计算单元之间直接通信，不需要经过中央存储器。
• 适合流水线式的AI推理任务。

举个例子。我在调试一款NPU时，发现它的内部就是典型的数据流架构。每一层卷积的结果，直接通过片上总线送到下一层，根本不用写回DDR。这样一来，延迟从几十微秒降到了几百纳秒。

4.3 存算一体：打破“存储墙”

存算一体（Compute-in-Memory）是近年来非常火的方向。它的思路很直接：把计算放到存储器里面去做。

传统架构里，数据要从DRAM搬到SRAM，再搬到寄存器，最后进ALU。每一步都有延迟和功耗。存算一体技术，直接在存储阵列里完成乘加运算。比如，用ReRAM或SRAM单元做模拟计算，一个读操作就能完成一次乘加。

我去年评估过一款存算一体芯片，跑MobileNetV2时，能效比达到了20 TOPS/W。而传统架构的NPU，一般也就5-10 TOPS/W。差距很明显。

但存算一体也有坑：

• 精度问题：模拟计算容易受工艺偏差影响，量化精度要留余量。
• 灵活性差：一旦电路设计好，支持的运算类型就固定了。想改网络结构？得重新流片。
• 容量限制：目前存算一体芯片的存储容量普遍不大，适合小模型。

4.4 三种架构的对比

为了让你看得更清楚，我整理了一张对比表：

特性	冯诺依曼架构	数据流架构	存算一体架构
数据搬运开销	高	中	低
灵活性	高	中	低
能效比	低	中	高
适用场景	通用计算	实时AI推理	超低功耗边缘AI
典型芯片	CPU、GPU	NPU（如寒武纪、地平线）	Mythic、Syntiant

嗯，这里要注意：没有一种架构是万能的。选型时，你得先搞清楚自己的痛点在哪——是功耗？是延迟？还是灵活性？

4.5 知识体系结构图

下面这张SVG图，帮你把本章的核心逻辑串起来：

4.6 实际选型建议

说了这么多，到底怎么选？我个人的经验是：

1. 先看模型：模型大小、计算量、层数。大模型优先考虑数据流架构，小模型可以试试存算一体。
2. 再看功耗：电池供电的设备，能效比是第一位的。存算一体或专用NPU更合适。
3. 最后看生态：芯片再强，没有好用的SDK和工具链，开发起来会非常痛苦。我吃过这个亏，选了一款小众芯片，结果调试工具都没有，全靠自己写驱动。

好了，这一章的内容就到这里。架构这东西，光看理论是不够的，得动手去调、去测。下次你拿到一款新芯片，不妨先看看它的架构图，心里就有数了。

---