📘 内存优化方法论
模型部署
✨ 30章 · 从入门到实战
01
内存优化概述
为什么模型部署需要关注内存？内存瓶颈的常见场景与挑战。
↗
02
模型量化基础
从FP32到INT8，量化原理与精度损失分析。
↗
03
权重量化实战
对称量化与非对称量化，Per-tensor与Per-channel量化。
↗
04
激活量化与校准
校准数据集的选择，KL散度与MinMax校准方法。
↗
05
混合精度推理
FP16与INT8混合部署，动态精度选择策略。
↗
06
模型剪枝入门
结构化剪枝与非结构化剪枝，剪枝率设定。
↗
07
剪枝工具与框架
PyTorch剪枝API，TensorFlow Model Optimization Toolkit。
↗
08
知识蒸馏基础
Teacher-Student架构，软标签与硬标签蒸馏。
↗
09
蒸馏在内存优化中的作用
模型瘦身与精度保持的平衡。
↗
10
算子融合技术
Conv+BN融合，Conv+ReLU融合的原理与实现。
↗
11
内存池与缓存优化
预分配策略，内存碎片管理。
↗
12
计算图优化
常量折叠，死代码消除，算子重排。
↗
13
推理引擎选择
ONNX Runtime、TensorRT、OpenVINO的内存特性对比。
↗
14
TensorRT优化实践
层融合、精度校准、动态形状支持。
↗
15
ONNX Runtime内存管理
内存模式（Arena vs Simple），执行提供者。
↗
16
模型序列化与反序列化
Protobuf优化，权重共享与去重。
↗
17
权重共享与参数绑定
Transformer中的权重共享，减少参数量。
↗
18
低秩分解
SVD分解与矩阵近似，全连接层的压缩。
↗
19
稀疏化推理
稀疏矩阵存储格式（CSR/CSC），硬件加速支持。
↗
20
内存带宽优化
数据布局（NHWC vs NCHW），缓存友好访问。
↗
21
批处理与动态批处理
吞吐量与延迟的权衡，内存峰值控制。
↗
22
流式推理与分块处理
大模型的分片加载，逐层推理。
↗
23
CPU vs GPU内存管理
统一内存，显存溢出处理策略。
↗
24
边缘设备内存优化
TFLite Micro，NCNN的内存限制适配。
↗
25
内存分析工具
NVIDIA Nsight Systems，Valgrind，Memory Profiler。
↗
26
内存泄漏检测与修复
常见泄漏模式，RAII与智能指针。
↗
27
多模型部署的内存复用
模型间共享缓冲区，生命周期管理。
↗
28
容器化部署中的内存限制
Docker内存限制，Kubernetes资源配额。
↗
29
实战案例一：BERT模型
BERT模型在CPU上的内存优化全流程。
↗
30
实战案例二：YOLOv5
YOLOv5在边缘设备上的内存优化与部署。
↗