边缘计算设备上的模型量化与压缩 · 课程目录

边缘计算与模型压缩概述

边缘计算的定义、为什么需要模型压缩、挑战与目标

模型量化基础

量化的数学原理、定点数与浮点数、量化误差分析

对称量化与非对称量化

对称/非对称原理、Zero-point作用、量化参数计算

权重量化与激活量化

权重策略、激活挑战、动态范围与静态范围

训练后量化 (PTQ)

PTQ流程、校准数据集、量化感知标定

量化感知训练 (QAT)

QAT原理、伪量化节点、直通估计器STE、训练技巧

混合精度量化

混合精度策略、敏感层识别、硬件支持与精度平衡

模型剪枝基础

剪枝分类(结构化/非结构化)、剪枝粒度、评价指标

结构化剪枝

通道剪枝、滤波器剪枝、剪枝后微调

非结构化剪枝

权重剪枝、稀疏矩阵存储、剪枝率与精度关系

知识蒸馏基础

教师-学生网络、蒸馏损失函数、温度参数

知识蒸馏进阶

特征层蒸馏、关系蒸馏、自蒸馏

SVD分解、CP分解、张量分解在模型压缩中的应用

权重共享与哈希

权重聚类、哈希网络、参数共享策略

轻量化网络设计

MobileNet系列、ShuffleNet系列、EfficientNet-Lite

模型压缩工具链

TensorFlow Lite、ONNX Runtime、NVIDIA TensorRT

边缘设备硬件特性

CPU/GPU/NPU/TPU架构差异、内存带宽、功耗约束

模型部署流程

模型转换、格式适配(TFLite/ONNX/NCNN)、端侧推理引擎

量化精度调试

精度下降原因、敏感层定位、逐层精度对比

模型压缩与硬件协同

算子融合、内存优化、计算图优化

边缘端推理优化

多线程推理、异步处理、内存池管理

模型压缩评估指标

模型大小、推理速度、功耗、精度保持率

案例：图像分类模型压缩

ResNet-50 量化 + 剪枝实战

案例：目标检测模型压缩

YOLOv5 量化 + 蒸馏实战

案例：语音识别模型压缩

RNN-T 量化 + 剪枝实战

案例：NLP模型压缩

BERT 蒸馏 + 量化实战

模型安全与鲁棒性

量化对对抗攻击的影响、压缩模型泛化能力

自动化压缩(NAS+压缩)、可微分剪枝、量化感知架构搜索

项目实战：边缘端压缩流水线

从零构建模型压缩与部署流水线

课程总结与展望

模型压缩未来方向、边缘AI演进趋势