模型部署中的内存管理艺术 · 课程目录

内存管理全景图

为什么模型部署中内存是瓶颈？内存层级结构（L1/L2缓存、DRAM、HBM）与延迟对比。

张量存储基础

Tensor在内存中的布局（NCHW vs NHWC），连续内存与非连续内存的性能差异。

内存分配器原理

系统调用mmap与brk的代价，内存池（Memory Pool）的设计哲学。

显存与内存的协同

CPU-GPU数据传输路径，PCIe带宽对推理延迟的影响。

模型加载优化

惰性加载（Lazy Loading）与内存映射文件（mmap）技术。

权重共享与内存去重

多模型部署场景下的共享内存技术，写时复制（Copy-on-Write）的应用。

算子内存复用

In-Place操作与内存别名分析，如何避免不必要的内存申请。

计算图优化与内存规划

静态内存规划（Static Memory Planning）与动态内存规划（Dynamic Memory Planning）。

内存碎片化问题

内部碎片与外部碎片的成因，伙伴系统（Buddy System）与Slab分配器。

显存池化技术

统一显存池（Unified Memory Pool）在服务端推理中的应用。

量化与内存压缩

INT8/FP16量化对内存占用的影响，权重压缩与解压缩的权衡。

Transformer推理中的KV Cache内存管理，PagedAttention原理。

连续批处理（Continuous Batching）

动态批处理如何影响内存峰值，调度策略。

内存交换（Swapping）

CPU内存与GPU显存之间的数据换入换出，异步预取技术。

稀疏化与内存节省

结构化稀疏与非结构化稀疏对内存布局的影响。

内存对齐与缓存友好

数据对齐（Alignment）对访存效率的影响，缓存行（Cache Line）利用。

零拷贝技术

GPU Direct与RDMA在分布式推理中的应用。

内存泄漏检测

Valgrind、AddressSanitizer在推理引擎中的应用。

内存带宽瓶颈

计算密集型 vs 内存密集型算子，Roofline模型分析。

NUMA架构下的内存分配

非统一内存访问对多核CPU推理的影响。

嵌入式设备内存管理

TFLite Micro与ONNX Runtime的微内存分配器。

内存安全与沙箱

WebAssembly与内存隔离技术。

持久化内存（PMem）在推理中的应用

Intel Optane DC持久内存的读写特性。

内存性能剖析工具

NVIDIA Nsight Systems、perf、Flame Graph的使用。

图编译器的内存优化

XLA与TVM的内存规划策略。

动态形状（Dynamic Shape）下的内存挑战

可变长输入的内存分配策略。

内存与延迟的权衡

增大batch size vs 增加内存压力，最优batch搜索。

分布式推理中的内存一致性

模型并行与流水线并行的内存开销。

内存回收与垃圾回收

引用计数与标记清除在Python/C++推理框架中的实现。

CXL内存池化、存算一体架构对内存管理的变革。