边缘AI · 内存与带宽优化
30章
🎒 风格 · 紧凑目录
01
边缘AI系统概述
定义、特点、应用场景与挑战
02
内存层次结构
SRAM、DRAM、Flash在边缘设备中的角色与权衡
03
带宽瓶颈分析
计算与存储的鸿沟，Roofline模型简介
04
模型量化基础
INT8/INT4量化原理与对内存占用的影响
05
模型剪枝策略
结构化与非结构化剪枝，如何减少参数存储
06
知识蒸馏
教师-学生网络如何压缩模型体积
07
轻量化网络设计
MobileNet、ShuffleNet、EfficientNet-Lite架构解析
08
算子融合技术
Conv+BN+ReLU融合，减少中间张量存储
09
内存池管理
预分配策略与碎片避免，避免动态分配开销
10
张量布局优化
NHWC vs NCHW，内存访问局部性
11
数据复用与tiling
分块策略，最大化片上数据复用
12
DMA与双缓冲
利用DMA隐藏数据传输延迟
13
Cache友好编程
避免cache miss，数据对齐与预取
14
模型部署工具链
TensorRT、ONNX Runtime、TFLite的优化选项
15
编译器优化
TVM、XLA的自动调优与内存规划
16
稀疏计算
稀疏矩阵存储格式（CSR/CSC）与加速库
17
Winograd卷积
减少乘法次数，降低带宽需求
18
FFT卷积
频域计算在特定场景下的带宽优势
19
模型并行与流水线
多核/多芯片间的数据划分
20
权重共享与捆绑
跨层/跨任务共享参数
21
在线学习与增量更新
只更新部分参数，减少写带宽
22
特征图压缩
JPEG-like压缩用于中间激活值
23
混合精度训练与推理
FP16/BF16与INT8混合使用
24
硬件加速器接口
NPU/DSP/GPU的显存与带宽特性
25
实时操作系统(RTOS)内存管理
静态分配与堆栈优化
26
功耗与带宽的耦合
动态电压频率调整(DVFS)策略
27
性能剖析工具
perf、valgrind、TensorBoard Profiler使用
28
案例研究：智能摄像头
人脸检测优化
29
案例研究：可穿戴设备
语音唤醒词检测
30
未来趋势
存内计算、近存计算与存算一体架构