嵌入式设备模型量化部署方案实战

📚 共计 30 章节
01
量化基础概念
什么是模型量化?为什么嵌入式设备需要量化?量化的数学原理(对称/非对称量化)。
数学原理对称量化
02
量化精度与性能权衡
INT8 vs FP16 vs FP32,量化带来的精度损失分析,性能提升的实测数据。
INT8FP16性能
03
量化感知训练(QAT)入门
QAT原理,在PyTorch中插入伪量化节点,训练技巧与注意事项。
QATPyTorch伪量化
04
训练后量化(PTQ)实战
PTQ流程,校准数据集的选择,使用TensorRT/PyTorch进行PTQ。
PTQ校准TensorRT
05
量化工具链概述
TensorRT、ONNX Runtime、TFLite、NCNN、OpenVINO等工具对比与选型。
工具链选型
06
TensorRT量化部署
TensorRT安装,使用trtexec进行INT8量化,动态形状处理。
TensorRTtrtexec动态形状
07
ONNX Runtime量化
ONNX模型导出,使用ORT进行动态/静态量化,QDQ节点解析。
ONNXORTQDQ
08
TFLite量化部署
TFLite Converter使用,后量化与量化感知训练,Edge TPU兼容性。
TFLiteEdge TPU
09
NCNN量化部署
NCNN框架介绍,ncnn2table与ncnn2int8工具使用,ARM平台优化。
NCNNARMncnn2int8
10
OpenVINO量化部署
OpenVINO模型优化器,INT8量化流程,在Intel CPU/VPU上部署。
OpenVINOINT8Intel
11
量化模型精度评估
评估指标(Top-1/Top-5,mAP),使用验证集进行精度对比,异常检测。
精度mAP验证
12
量化敏感层分析
逐层精度损失分析,找出敏感层,混合精度量化策略。
敏感层混合精度
13
混合精度量化实战
手动指定精度,自动混合精度工具(如TensorRT的精度策略)。
混合精度TensorRT
14
量化模型在ARM CPU上的优化
NEON指令集利用,内存对齐与缓存优化,算子融合。
ARMNEON缓存优化
15
量化模型在GPU上的优化
CUDA核心利用,Tensor Core使用,内存带宽优化。
GPUCUDATensor Core
16
量化模型在NPU/DSP上的部署
Qualcomm SNPE/HTA,MediaTek NeuroPilot,Apple CoreML。
NPUSNPECoreML
17
量化模型在MCU上的部署
TFLite Micro,CMSIS-NN,极低比特量化(2bit/4bit)。
MCUTFLite MicroCMSIS-NN
18
量化模型在FPGA上的部署
Vitis AI量化工具,DPU核配置,INT8推理引擎。
FPGAVitis AIDPU
19
量化模型在RISC-V平台上的部署
RISC-V向量扩展利用,TFLite Micro移植,性能调优。
RISC-V向量扩展
20
量化模型在边缘AI盒子上的部署
Jetson Nano/Orin,RK3588,算能BM1684实战案例。
JetsonRK3588BM1684
21
量化模型在智能摄像头上的部署
海思Hi3519A,安霸CV22,地平线J3量化方案。
海思安霸地平线
22
量化模型在智能音箱上的部署
联发科MT8516,全志R329,低功耗量化策略。
智能音箱低功耗
23
量化模型在自动驾驶域控上的部署
TI TDA4VM,NVIDIA Orin,高通Snapdragon Ride。
自动驾驶TDA4VMOrin
24
量化模型在工业PLC上的部署
STM32MP1,i.MX8M Plus,实时性量化要求。
工业PLC实时性
25
量化模型在可穿戴设备上的部署
BES2300,Apollo3 Blue,超低功耗量化技术。
可穿戴超低功耗
26
量化模型在无人机上的部署
Jetson TX2,STM32F7,轻量化量化模型设计。
无人机轻量化
27
量化模型在机器人上的部署
树莓派4B,Jetson Xavier NX,多传感器融合量化。
机器人传感器融合
28
量化模型在医疗设备上的部署
Xilinx Zynq,i.MX8M Mini,医疗级精度要求。
医疗Zynq高精度
29
量化模型在农业IoT上的部署
ESP32-S3,STM32L4,太阳能供电下的量化优化。
农业IoTESP32太阳能
30
量化部署全流程实战项目
从PyTorch模型训练到多平台量化部署,完整项目复盘与最佳实践。
全流程项目复盘最佳实践