3. AI芯片基础架构：从冯·诺依曼到存算一体

好，咱们直接切入正题。这一章聊的是AI芯片的“骨架”——基础架构。我个人觉得，搞懂这个，你才算真正入了AI芯片的门。说白了，就是搞清楚数据怎么存、怎么算、怎么在芯片里跑起来。

3.1 冯·诺依曼架构 vs. 存算一体架构

先说说最经典的冯·诺依曼架构。这个概念大家应该不陌生：一个处理器，一个存储器，中间有条数据通路。指令和数据都放在存储器里，处理器一条条取、一条条执行。

嗯，这里有个大问题——“存储墙”。处理器算得飞快，但去存储器拿数据的速度跟不上。我在项目中遇到过，跑一个大模型时，GPU利用率死活上不去，一看性能分析，大部分时间都花在等数据上了。这就是典型的“存储墙”瓶颈。

那存算一体架构呢？思路很直接——把计算和存储放在一起。你想想看，数据不用来回搬运了，直接在存储单元里完成计算。这就像你写作业，不用每次翻到书后面找公式，公式就贴在桌上。

我建议你记住两种主流方向：

• 近存计算：把计算单元尽量靠近存储单元，比如HBM（高带宽存储器）堆叠在处理器旁边。这是目前工业界的主流做法。
• 存内计算：直接在存储单元里做计算，比如利用ReRAM（阻变存储器）的物理特性做矩阵乘法。这个还在实验室阶段，但潜力巨大。

3.2 AI芯片的宏观分类：GPU / FPGA / ASIC / NPU

接下来，咱们看看市面上常见的AI芯片类型。说白了，就是不同场景下的“工具选择”。

类型	特点	典型场景	我的评价
GPU	通用性强，并行计算能力出色	训练大模型、科学计算	目前AI训练的首选，但功耗高
FPGA	可重构，灵活度高	原型验证、低延迟推理	适合小批量、定制化场景
ASIC	专用性强，性能功耗比最优	大规模量产、特定算法	一旦流片，改不了，风险大
NPU	专为神经网络设计	端侧推理、移动设备	我最近在做的项目就是NPU，效率确实高

为什么会这样分类？其实看的是“通用性 vs. 效率”的权衡。GPU最通用，但效率不是最高；ASIC效率最高，但只能干一件事。NPU算是折中方案——专门为神经网络优化，但也能支持多种网络结构。

3.3 AI芯片的微观架构：PE阵列、片上网络、存储层次

宏观分类看完了，咱们钻到芯片内部看看。微观架构才是决定芯片性能的关键。我习惯从三个维度去理解：计算单元怎么排、数据怎么传、数据怎么存。

3.3.1 PE阵列（Processing Element Array）

PE阵列就是芯片里的“算力工厂”。每个PE是一个小型计算单元，通常包含乘法器和累加器。多个PE排成阵列，并行执行矩阵运算。

你想想看，大模型里的矩阵乘法动辄几千乘几千，单个PE根本算不完。所以需要成百上千个PE一起上。我见过一个设计，PE阵列是16x16的，总共256个PE，跑ResNet-50时利用率能到85%以上。

3.3.2 片上网络（Network-on-Chip, NoC）

PE阵列有了，数据怎么在PE之间、PE和存储器之间传输？这就靠片上网络。说白了，就是芯片内部的“高速公路系统”。

我刚开始做架构设计时，总觉得NoC不重要，随便选个总线就行。结果有一次仿真，发现数据冲突严重，PE阵列利用率直接掉到40%。后来换成Mesh结构的NoC，利用率才回到75%。

常见的NoC拓扑有：

• Mesh：网格状，每个节点连接相邻节点。扩展性好，但延迟随跳数增加。
• Ring：环形，数据沿环传输。简单，但带宽有限。
• Tree：树形，适合广播场景。但根节点容易成为瓶颈。

3.3.3 存储层次（Memory Hierarchy）

最后是存储层次。AI芯片的存储系统通常分三级：

1. 寄存器文件（Register File）：离PE最近，速度最快，但容量最小（几十KB）。
2. 片上SRAM（On-chip SRAM）：容量几MB到几十MB，速度中等。我习惯叫它“L2缓存”。
3. 片外DRAM（Off-chip DRAM）：容量几十GB，但速度最慢。通常用HBM或GDDR。

为什么会这样设计？说白了就是“容量 vs. 速度”的权衡。寄存器最快但装不下多少数据，DRAM能装很多但慢。所以需要把最常用的数据放在最快的地方。

知识体系总览

下面这张图是我画的，帮你把这一章的知识点串起来。你可以把它当作“地图”，随时回来对照。

这张图把三个层次的关系画清楚了：宏观分类决定了芯片的定位，基础架构决定了数据流动方式，微观架构决定了具体实现细节。三者缺一不可。

---