🚀 内存带宽·突破实战
📘 30章 · 嵌入式推理
🧩
从入门到精通
⚡ 带宽瓶颈 · 存储层次 · 算子优化
📁 共30个实战章节
01
内存墙概述
什么是内存带宽瓶颈？为什么嵌入式推理会卡在内存上？
02
存储层次结构
从寄存器到DDR，数据搬运的代价有多大？
03
带宽计算基础
理论带宽 vs 实际带宽，你被硬件手册骗了吗？
04
内存访问模式
连续访问 vs 随机访问，性能差10倍的原因。
05
Cache 原理入门
时间局部性与空间局部性，你的数据邻居是谁？
06
Cache Miss 分析
三种Cache Miss（强制、容量、冲突）及优化方向。
07
数据复用策略
如何让数据在Cache里多待一会儿？
08
Tiling 技术
分块计算的本质，把大矩阵拆成小方块。
09
Loop Reordering
循环重排，改变访问顺序就能提速。
10
Memory Pooling
预分配与内存复用，减少动态分配开销。
11
DMA 与双缓冲
让计算和搬运并行起来。
12
SIMD 与向量化
一条指令处理多个数据，带宽利用率翻倍。
13
量化与压缩
INT8/INT4 推理，用精度换带宽。
14
稀疏化推理
跳过零值计算，减少内存访问量。
15
模型剪枝
去掉冗余参数，模型变小带宽压力也小。
16
知识蒸馏
用小模型学大模型，推理更快。
17
算子融合
减少Kernel Launch次数，降低带宽浪费。
18
内存对齐与Padding
对齐访问，避免跨Cache Line惩罚。
19
Prefetch 预取
提前告诉硬件你要什么数据。
20
NUMA 与多核调度
多核访问内存的竞争与亲和性。
21
共享内存与局部内存
在NPU/GPU上利用片上SRAM。
22
Winograd 卷积优化
减少乘法次数，间接缓解带宽压力。
23
FFT 卷积优化
频域计算，适合大卷积核场景。
24
Im2Col + GEMM
经典卷积矩阵化，内存布局优化。
25
内存带宽 Profiling 工具
perf、valgrind、roofline模型。
26
Roofline 模型分析
算力 vs 带宽，你的瓶颈在哪？
27
案例1: MobileNet
MobileNet 在ARM上的带宽优化实战。
28
案例2: YOLOv5
YOLOv5 在NPU上的内存瓶颈突破。
29
案例3: Transformer
Transformer 推理中的带宽优化技巧。
30
总结与展望
未来内存技术（HBM、CXL）对推理的影响。