📦 模型量化压缩技术
YOLO 高效部署
30
章 · 从入门到实战
1
量化基础：什么是模型量化？为什么YOLO需要量化？量化的数学原理。
2
量化类型：对称量化 vs 非对称量化，per-tensor vs per-channel量化。
3
量化感知训练(QAT)：原理介绍，如何在YOLOv5中插入伪量化节点。
4
训练后量化(PTQ)：校准数据集的选择，KL散度与MSE校准方法。
5
INT8量化实战：使用TensorRT对YOLOv5进行INT8量化，性能对比。
6
混合精度量化：FP16与INT8混合部署，精度与速度的平衡艺术。
7
剪枝基础：结构化剪枝 vs 非结构化剪枝，YOLO中的BN层剪枝。
8
通道剪枝实战：基于L1范数的YOLOv5通道剪枝，代码实现。
9
知识蒸馏：教师模型与学生模型，logit蒸馏与feature蒸馏。
10
YOLO蒸馏实战：使用overhaul蒸馏方法提升轻量YOLO精度。
11
权重共享与哈夫曼编码：减少模型存储大小的传统方法。
12
低比特量化：INT4与二值化网络在YOLO上的尝试与挑战。
13
NCNN部署：将量化后的YOLO模型部署到手机端(NCNN框架)。
14
OpenVINO部署：Intel平台下的YOLO量化与推理优化。
15
TensorRT部署：ONNX转TensorRT引擎，动态shape处理。
16
边缘计算部署：Jetson Nano上YOLO的量化与加速实践。
17
量化工具链：PyTorch量化工具包(torch.quantization)详解。
18
ONNX量化：使用onnxruntime进行量化，QDQ格式解析。
19
校准数据集构建：如何从COCO/VOC数据集中提取代表性子集。
20
精度评估：量化后mAP下降分析，逐层精度损失定位。
21
量化敏感度分析：找出YOLO中对量化最敏感的层。
22
硬件适配：不同硬件(NPU/DSP/GPU)对量化算子的支持差异。
23
编译优化：图优化与算子融合，减少量化带来的额外开销。
24
动态量化：RNN/LSTM场景下的动态量化，YOLO中是否适用？
25
量化部署全流程：从PyTorch训练到INT8推理的完整Pipeline。
26
精度恢复技巧：量化后微调，学习率重调度策略。
27
多任务量化：同时量化检测头与分类头，YOLOv8的多输出处理。
28
量化标准：MLPerf推理基准中的量化要求，INT8规范解读。
29
未来趋势：FP8训练与推理，Transformer架构在YOLO中的量化挑战。
30
综合实战：将YOLOv8进行QAT+剪枝+蒸馏，部署到RK3588开发板。