2、内存层次结构：SRAM、DRAM、Flash在边缘设备中的角色与权衡

聊到边缘AI系统的内存，我脑子里第一个蹦出来的词就是「捉襟见肘」。你想想看，一个摄像头模组，或者一个智能传感器，它的功耗预算可能只有几百毫瓦。在这种约束下，我们不可能把服务器上的内存架构直接搬过来。

所以，理解SRAM、DRAM和Flash这三兄弟在边缘设备里的角色，就成了系统设计的必修课。我个人习惯把它们比作一个「三级补给站」——速度越快、越靠近CPU的，容量越小、越贵；速度慢、离得远的，容量大、便宜。嗯，就是这么个朴素的道理。

2.1 SRAM：速度的王者，容量的乞丐

SRAM，静态随机存取存储器。它的特点就一个字：快。快到什么程度？访问延迟通常在1-5纳秒，跟CPU核心几乎可以同步跑。我在项目中遇到过最极端的例子，是在一个实时音频处理芯片里，为了满足微秒级的响应，不得不把整个音频缓冲区都放在片内SRAM里。

但代价也很明显——贵，而且占面积。一个SRAM单元需要6个晶体管，而DRAM只需要1个晶体管加1个电容。所以你会发现，边缘芯片里的SRAM通常只有几十KB到几MB。比如STM32系列，片内SRAM一般就128KB到2MB。

核心角色： SRAM主要用来做CPU的缓存（L1/L2 Cache）和紧耦合存储器（TCM）。在AI推理中，它存放的是最频繁访问的权重和中间激活值。
我的经验： 在部署轻量级模型（如MobileNet）时，我建议优先把第一层和最后一层的权重塞进SRAM。为什么？因为第一层对输入数据敏感，最后一层对输出精度影响大。中间层可以放DRAM里，用DMA搬运。

2.2 DRAM：容量的主力，延迟的妥协

DRAM，动态随机存取存储器。它需要周期性刷新，不然数据就丢了。延迟一般在50-100纳秒，比SRAM慢了一个数量级。但它的容量可以做到很大——边缘设备里常见的LPDDR4，容量从512MB到8GB不等。

说白了，DRAM就是那个「能装但慢」的角色。在边缘AI系统里，它主要用来存放模型参数、输入图像帧、以及推理过程中的中间结果。我做过一个视觉检测项目，模型有5MB，输入是1080p的RGB图像，一帧就要6MB。如果不把模型和图像帧放DRAM里，SRAM根本装不下。

但这里有个坑——DRAM的带宽是有限的。LPDDR4的带宽通常在3200-6400 MB/s，听起来挺高，但如果你跑一个需要频繁读写的大模型，带宽很容易成为瓶颈。我曾经调试过一个性能问题，发现CPU有40%的时间在等DRAM数据回来。嗯，那感觉就像高速公路上堵车，发动机再猛也没用。

避坑指南： 我曾经在一个项目里，把整个模型都放DRAM里，结果推理帧率只有预期的60%。后来发现是DRAM带宽被DMA和CPU争抢了。解决方案是：把DRAM访问做成「流水线」——CPU算完一层，DMA立刻预取下一层。这样带宽利用率从30%提升到了85%。

2.3 Flash：非易失的仓库，读快写慢

Flash，闪存。它的特点是断电不丢数据，但写入速度慢，而且有擦写寿命限制。NOR Flash和NAND Flash是两种主流类型。NOR Flash读取快，适合存代码；NAND Flash容量大，适合存数据。

在边缘设备里，Flash的角色很明确：存模型文件、存固件、存配置文件。比如一个智能门锁，它的AI模型（比如人脸识别模型）就存在Flash里。上电后，系统把模型从Flash加载到DRAM或SRAM里，然后才开始推理。

但要注意，Flash的读取速度比DRAM慢得多。NOR Flash的读取延迟大约80-150纳秒，NAND Flash更慢，而且有块对齐的问题。所以，直接从Flash里跑推理是不现实的——你想想看，CPU每读一个权重都要等几百纳秒，那推理速度得慢成什么样？

核心权衡： Flash容量大（通常8MB-128MB），但速度慢。所以它只适合做「冷存储」——模型部署时写一次，运行时只读。如果模型需要在线更新，那就要考虑Flash的擦写寿命（通常10万次左右）。

2.4 三者的权衡：一个实际案例

让我用一个具体的例子来说明这三者的配合。假设我们要做一个边缘AI摄像头，用来检测生产线上的缺陷。模型是YOLOv5s，大约14MB。输入是640x480的灰度图，一帧300KB。

系统架构是这样的：

  • SRAM（512KB）： 存放L1 Cache、TCM、以及当前推理层的权重和激活值。每次只加载一层，算完就换下一层。
  • DRAM（256MB LPDDR4）： 存放整个模型（14MB）、输入图像帧缓冲区（3帧循环，共900KB）、以及推理中间结果（约20MB）。
  • Flash（64MB NAND）： 存放固件、模型文件、以及配置参数。上电时，系统把模型从Flash拷贝到DRAM。

推理流程是这样的：

  1. 上电后，CPU从Flash读取固件，加载到DRAM中执行。
  2. 模型文件从Flash拷贝到DRAM的模型区。
  3. 摄像头采集一帧图像，通过DMA直接写入DRAM的帧缓冲区。
  4. CPU开始推理：从DRAM读取模型权重，逐层计算。每层的权重和激活值，通过DMA搬运到SRAM的TCM中。
  5. 推理结果写回DRAM，然后输出。

你看，这里的关键就是「分层搬运」。SRAM只放当前需要的数据，DRAM放全部数据，Flash放永久数据。这个思路，说白了就是「用时间换空间」——虽然搬运数据需要时间，但总比把整个模型塞进SRAM（根本塞不下）要强。

我的建议： 在设计内存层次时，先算一笔账：模型大小、输入大小、中间结果大小。然后看SRAM能装多少，剩下的放DRAM。如果DRAM带宽不够，考虑模型量化（比如从FP32降到INT8），或者用模型剪枝减少参数。我见过太多人一上来就堆SRAM，结果芯片面积爆炸，成本翻倍。

2.5 总结：记住这三句话

好了，关于内存层次结构，我总结三句话，你记住就行：

  • SRAM是跑车： 快，但装不了多少东西。用来做缓存和紧耦合存储器。
  • DRAM是卡车： 能装，但跑得慢。用来放模型和中间数据。
  • Flash是仓库： 容量大，但取货慢。用来存固件和模型文件。

这三者的权衡，说白了就是「速度、容量、成本」的三角博弈。在边缘设备里，没有完美的方案，只有最适合你应用场景的方案。嗯，这就是我这些年踩坑踩出来的体会。

← 上一章 📖 返回目录 下一章 →