1、内存瓶颈分析：模型参数量与中间特征图的内存占用计算，Flash与DRAM的层级差异
各位同学，咱们今天聊点实在的。
做嵌入式深度学习，说白了就是跟内存斗智斗勇。我刚开始入行那会儿，总觉得模型能跑就行，结果一上板子就崩。后来才明白——内存，才是真正的隐形杀手。
1.1 模型参数量：你存了多少“死重”？
先说说参数量。这个好理解，就是模型里所有权重和偏置的总和。比如一个卷积层，输入通道是3，输出通道是64，卷积核是3×3，那它的参数量就是：
参数量 = 3 × 64 × 3 × 3 + 64（偏置） = 1792个参数每个参数如果是FP32，占4字节。那这层就是1792×4 ≈ 7KB。
嗯，听起来不多对吧？但一个MobileNetV2大概有3.5M参数，FP32下就是14MB。你想想看，很多MCU的Flash才512KB到2MB，根本塞不下。
关键点：参数量决定了模型在Flash中的存储空间。量化到INT8后，14MB变成3.5MB，省了3/4。
我在项目中遇到过一件事：有个同事把ResNet-50直接往STM32上怼，结果编译都过不了。后来换成MobileNetV3，参数量从25M降到2.5M，才勉强塞进去。所以，选模型时先看Flash容量，别等烧录了才发现装不下。
1.2 中间特征图：真正的“内存黑洞”
参数量只是“死重”，存着不动就行。但中间特征图是活的——每层推理完都要暂存，下一层用完才能释放。
举个例子。输入一张224×224的RGB图，经过第一层卷积后，输出特征图可能是112×112×64。那这一层占的内存就是：
112 × 112 × 64 × 4（FP32） = 3.2MB才一层就3.2MB！而很多嵌入式设备的DRAM总共才8MB或16MB。你想想看，一个模型几十层，如果每层都存着，内存瞬间爆炸。
我的习惯：在项目初期，我会先画一张“内存峰值图”——找出推理过程中哪一层特征图最大，那个就是瓶颈。比如YOLOv5s的中间特征图峰值大概在4MB左右（FP32），量化后降到1MB，这就很舒服了。
为什么会这样？因为嵌入式设备没有虚拟内存，物理内存就那么点。你分配多了，直接OOM（内存溢出）。我见过最惨的一次，模型跑到一半，系统直接重启——就是因为特征图没规划好。
1.3 Flash vs DRAM：层级差异你懂吗？
好，现在咱们聊聊存储层级。Flash和DRAM，虽然都是“存东西”，但脾气完全不同。
| 特性 | Flash | DRAM |
|---|---|---|
| 速度 | 慢（读约50-100ns，写更慢） | 快（约10-20ns） |
| 容量 | 大（通常512KB~16MB） | 小（通常64KB~8MB） |
| 用途 | 存模型权重、代码 | 存运行时数据、特征图 |
| 掉电保持 | 是 | 否 |
| 写入次数 | 有限（约10万次） | 无限 |
说白了，Flash就像仓库，东西放进去就不动了，但取出来慢。DRAM就像工作台，东西放上去随时用，但一断电就没了。
在嵌入式深度学习中，模型权重存在Flash里，推理时逐层加载到DRAM。而中间特征图必须放在DRAM里，因为要频繁读写。
我曾经踩过的坑：有个项目，我把模型权重全部加载到DRAM里，结果DRAM爆了。后来改成“按需加载”——用哪层就从Flash读哪层的权重，DRAM只存当前层和下一层的特征图。内存占用直接降了60%。
你想想看，Flash读一次要50ns，DRAM读一次只要10ns。如果频繁从Flash读权重，推理速度会变慢。所以要权衡：是省内存，还是省时间。
1.4 实战：算一算你的模型能吃多少内存
好，咱们来动动手。假设你有一个模型，结构如下：
- 输入：224×224×3（RGB图）
- Conv1：3×3卷积，3→64，输出112×112×64
- Conv2：3×3卷积，64→128，输出56×56×128
- FC层：输入56×56×128，输出1000类
咱们算一下内存占用：
- 参数量（Flash占用）：
- Conv1：3×64×3×3 + 64 = 1792个参数 → 7KB（FP32）
- Conv2：64×128×3×3 + 128 = 73856个参数 → 288KB
- FC：56×56×128×1000 + 1000 ≈ 401M参数 → 1.6GB（太大了，实际不会这么设计）
- 中间特征图（DRAM占用）：
- 输入图：224×224×3×4 = 588KB
- Conv1输出：112×112×64×4 = 3.2MB
- Conv2输出：56×56×128×4 = 1.6MB
- 峰值：3.2MB（Conv1输出时）
你看，峰值出现在Conv1输出时，占了3.2MB。如果设备DRAM只有2MB，那就得想办法——比如把输入图缩小，或者用INT8量化。
我的建议：在项目初期，先画一张“内存占用曲线图”。横轴是层数，纵轴是内存占用。找到峰值，然后针对性地优化。比如用“内存复用”技术——让不同层的特征图共用同一块内存。
1.5 避坑指南：我踩过的三个坑
最后，分享几个我亲身经历的血泪教训：
- 坑一：我曾经以为Flash和DRAM一样快，结果模型推理速度慢得像蜗牛。后来才发现，频繁从Flash读权重是罪魁祸首。解决方案：把常用权重缓存到DRAM里。
- 坑二：中间特征图没及时释放，导致内存泄漏。模型跑了几百次后，系统直接卡死。后来我加了个“内存池”，每次推理完统一回收。
- 坑三：量化后模型精度下降，但内存确实省了。我后来用了“混合精度”——敏感层用FP16，不敏感层用INT8。内存省了，精度也没掉太多。
嗯，今天就先聊到这儿。下一章咱们讲讲内存复用技术——怎么让特征图“一图多用”，把内存占用再砍一半。
记住一句话：嵌入式深度学习，内存就是命根子。把内存算明白了，你的模型就成功了一半。