边缘AI · 内存与推理 · 课程目录

01

什么是边缘AI · 边缘vs云端 · 智能家居/工业视觉/可穿戴

02

边缘硬件架构

MCU·MPU·NPU·TPU选型 · STM32/RK3588/Jetson内存层次

03

SRAM·DRAM·Flash · Cache原理 · DMA作用

04

模型量化原理

FP32 vs INT8 vs INT4 · 量化误差 · 对称/非对称量化

05

TensorRT/ONNX Runtime INT8量化 · 校准数据集选择

06

结构化vs非结构化剪枝 · 剪枝率对内存/精度影响

07

教师-学生模型 · 软/硬标签 · 蒸馏温度调节

08

模型压缩工具链

TFLite·NCNN·MNN·OpenVINO对比与选型

09

内存池设计

静态vs动态内存池 · 预分配策略 · 碎片管理

10

张量内存布局

NHWC vs NCHW · 内存对齐 · Stride概念

11

推理引擎内存管理

TensorRT IExecutionContext · ONNX OrtSession · 内存复用

12

Conv+BN+ReLU融合 · 内存访问优化 · 减少中间张量

13

内存带宽瓶颈

DDR带宽 vs 计算吞吐 · Roofline模型 · 定位瓶颈

14

数据搬运优化

DMA双缓冲(Ping-Pong) · Cache命中率 · Prefetch

15

就地计算 (In-place)

ReLU·Dropout原地操作 · 减少内存分配

16

推理框架内存Profiling

NVIDIA Nsight · Valgrind · Perf 分析内存

17

内存泄漏检测

未释放Tensor·循环引用 · AddressSanitizer

18

多模型流水线

串行vs并行推理 · 内存共享与隔离 · 优先级调度

19

实时性约束

硬实时vs软实时 · WCET分析 · 内存锁与优先级反转

20

操作系统内存管理

Linux CMA·ION·dmabuf · RTOS静态分配策略

21

异构计算内存

CPU-GPU-NPU共享 · Zero-Copy · Pinned Memory

22

模型部署中的内存峰值

计算峰值内存 · 内存预算表规划

23

动态形状推理

Variable Shape内存挑战 · Padding与Resize策略

24

CSR·CSC·COO格式 · 稀疏卷积内存优势

25

算法原理 · 内存占用 vs 计算加速权衡

26

大模型拆分子图 · 分片加载执行 · 内存换入换出

27

缓存友好设计

数据局部性 · Loop Tiling · 分块策略

28

电源与内存

DVFS对内存延迟影响 · 低功耗模式降频

29

案例实战：RK3588 + YOLOv5s

从量化到内存优化完整流程

30

存内计算(CIM) · 近存计算 · 存算一体芯片