📘 AI芯片量化部署实战手册

01

量化基础与芯片选型 芯片对比

什么是模型量化？主流AI芯片 (Jetson/SNPE/昇腾/征程) 量化方案对比

02

量化原理 (上) 对称·非对称

对称 vs 非对称量化，scale/zero_point 计算，INT8公式推导

03

量化原理 (下) 误差·校准

截断/舍入误差，KL散度，MinMax与Percentile校准

04

PTQ训练后量化 PyTorch

静态量化 (torch.quantization)，动态 vs 静态，fuse+BN合并

05

QAT量化感知训练 FakeQuantize

FakeQuantize原理，插入量化节点，QAT训练与超参调整

06

ONNX与量化 导出·Runtime

导出ONNX，ONNX Runtime量化工具，踩坑记录

07

TensorRT量化 (上) 校准器

TensorRT简介，FP16/INT8校准，Int8EntropyCalibrator2编写

08

TensorRT量化 (下) 动态形状

动态形状与量化，多Batch，layer-wise精度调试

09

Jetson部署实战 JetPack

JetPack SDK，DeepStream+TensorRT，INT8性能调优

10

高通SNPE量化部署 DSP加速

SNPE SDK，DLC转换，AIP量化与DSP加速

11

华为昇腾量化部署 CANN·AMCT

CANN工具链，AMCT量化流程，MindSpore Lite推理

12

地平线征程量化部署 OE/BPU

地平线工具链，模型转换与量化校准，性能分析

13

TFLite量化部署 Android/iOS

TFLite Converter，动态/全整数量化，移动端部署

14

Core ML与量化 ANE适配

Core ML Tools，FP16/INT8，Apple Neural Engine适配

15

OpenVINO量化部署 POT工具

Intel OpenVINO，Post-training Optimization Tool，CPU加速

16

量化模型精度评估 mlperf

量化前后精度对比，Eval工具，精度损失定位与回退

17

算子兼容性与替换 自定义量化

不支持的算子，ReLU6替换策略，自定义算子量化

18

量化模型调试技巧 敏感度分析

Layer-wise精度分析，Hook提取中间层，敏感度分析

19

混合精度量化 per-channel

敏感层保留FP16/FP32，per-tensor vs per-channel

20

量化与模型结构设计 轻量化

BN融合、ReLU6、Add操作，MobileNet/ShuffleNet量化经验

21

数据预处理与后处理量化 归一化融合

Normalization量化融合，Softmax/TopK后处理优化

22

量化部署内存优化 DMA优化

内存池管理，Tensor复用，DMA与数据搬运优化

23

多模型串联与流水线量化 Feature Map量化

多模型Pipeline，中间结果量化，端到端延迟优化

24

量化模型安全与鲁棒性 对抗攻击

对抗攻击影响，鲁棒性测试，防御策略

25

量化工具链自动化 CI/CD

自动化量化脚本，CI/CD集成，量化报告生成

26

边缘端视觉量化案例 YOLOv5/v8

YOLOv5/v8量化部署 (TensorRT/SNPE)，ResNet/MobileNet

27

边缘端语音量化案例 KWS

TC-ResNet量化，Keyword Spotting在DSP部署

28

边缘端NLP量化案例 BERT/TinyBERT

BERT/TinyBERT量化，Transformer在NPU适配优化

29

量化部署性能基准测试 Profiling

FPS/Latency/Throughput/功耗，perf分析瓶颈

30

量化部署未来趋势 FP8/大模型

FP8/FP4量化，硬件原生支持，AutoQ，LLM量化 (GPTQ/AWQ)