01
深度学习模型压缩概述
为什么需要模型压缩？三大驱动力：算力、带宽、功耗；端侧芯片部署中的核心地位。
驱动力端侧
02
模型剪枝（Pruning）基础
结构化与非结构化剪枝，细粒度与粗粒度剪枝，剪枝粒度与硬件加速的关系。
结构化硬件加速
03
模型剪枝实战
基于L1范数的权重剪枝，通道重要性剪枝，剪枝后微调策略。
L1微调
04
模型量化基础
FP32/FP16/INT8/INT4格式，对称与非对称量化，量化误差来源分析。
INT8对称量化
05
模型量化实战
训练后量化(PTQ)，量化感知训练(QAT)，scale/zero_point计算。
PTQQAT
06
知识蒸馏
软标签与硬标签，温度系数T，教师-学生网络架构设计。
蒸馏温度
07
轻量化网络结构设计
MobileNet深度可分离卷积，ShuffleNet通道混洗，EfficientNet复合缩放。
MobileNetShuffleNet
08
模型压缩工具链（上）
TensorRT优化流程，ONNX中间表示，算子兼容性问题。
TensorRTONNX
09
模型压缩工具链（下）
OpenVINO模型优化，TFLite量化部署，NCNN移动端实践。
OpenVINONCNN
10
芯片部署硬件基础
冯诺依曼与存算一体，AI芯片算力指标(TOPS/MACs)，内存带宽影响。
存算一体TOPS
11
AI芯片架构解析
GPU CUDA Core/Tensor Core，NPU脉动阵列，FPGA灵活性与局限。
GPUNPU
12
算子优化与内核编写
矩阵乘法分块/向量化，Im2Col+GEMM，Winograd快速卷积。
Im2ColWinograd
13
内存管理与数据搬运
DDR带宽瓶颈，DMA使用，数据预取与乒乓缓冲。
DMA乒乓缓冲
14
模型部署流程（端到端）
PyTorch/TF导出ONNX，ONNX优化与算子融合，生成可执行文件。
端到端算子融合
15
推理引擎原理
计算图静态优化(常量折叠/算子融合)，动态/静态形状，内存池复用。
计算图内存池
16
模型加密与安全部署
模型文件加密存储，运行时解密加载，防窃取手段。
加密安全
17
多模型流水线部署
串行/并行执行，异构计算(CPU+NPU/GPU)调度，共享内存冲突解决。
流水线异构
18
模型性能分析与调优
Profiling工具(Nsight, Streamline)，计算/访存瓶颈，Roof-line模型。
ProfilingRoof-line
19
端侧芯片部署实战（ARM CPU）
NCNN交叉编译，ARM NEON向量化加速，多线程负载均衡。
ARMNEON
20
端侧芯片部署实战（NPU）
地平线BPU编译量化，瑞芯微RKNN转换，算能TPU部署。
BPURKNN
21
端侧芯片部署实战（GPU）
TensorRT INT8量化校准，动态batch，多流推理提高吞吐。
TensorRT多流
22
模型压缩与部署的精度保障
校准数据集选择，逐通道/逐层量化权衡，混合精度策略。
精度混合精度
23
Transformer模型在芯片上的部署
Attention算子优化(Flash Attention)，KV Cache管理，LLM量化(GPTQ/AWQ)。
Flash AttentionLLM
24
计算机视觉模型部署
YOLO后处理NMS硬件加速，语义分割逐像素优化，超分FPGA部署。
YOLONMS
25
语音与NLP模型部署
RNN/LSTM展开量化，CTC解码加速，BERT INT8部署。
CTCBERT
26
行业案例
智能手机AI拍照，智能音箱语音唤醒，自动驾驶实时感知。
案例自动驾驶
27
前沿技术
NAS+模型压缩，可微分剪枝/量化，硬件感知自动化部署。
NAS可微分
28
模型部署的测试与验证
端到端精度对齐(数值误差)，性能基准(Benchmark)，稳定性测试。
Benchmark稳定性
29
常见问题与解决方案
精度下降严重？推理速度不达标？内存溢出排查？
FAQ排查
30
课程总结与未来展望
技术趋势，存算一体与近存计算，AI编译器(TVM/MLIR)未来角色。
存算一体AI编译器