芯片级AI模型压缩与部署实战

📚 共计 30 章节

芯片AI模型压缩概述

为什么需要模型压缩？芯片端部署的挑战与机遇。

模型剪枝基础

结构化剪枝与非结构化剪枝原理、粒度与稀疏性。

模型剪枝实战

基于PyTorch的剪枝工具使用（torch.nn.utils.prune）。

模型量化基础

对称量化与非对称量化、定点数与浮点数转换。

模型量化实战

PTQ（训练后量化）与QAT（量化感知训练）流程。

知识蒸馏原理

教师-学生网络架构、软标签与硬标签、温度参数。

知识蒸馏实战

使用蒸馏方法压缩ResNet模型。

SVD分解、CP分解在卷积核压缩中的应用。

轻量化网络设计

MobileNet、ShuffleNet、EfficientNet架构解析。

神经网络架构搜索 (NAS)

搜索空间、搜索策略与评估方法。

芯片端推理引擎概述

TensorRT、ONNX Runtime、TFLite、OpenVINO。

ONNX模型转换

从PyTorch/TensorFlow导出ONNX模型及调试。

TensorRT部署实战

模型解析、优化、构建Engine与推理。

TFLite部署实战

模型转换、量化、委托加速（GPU/NPU）。

TFLite移动端

OpenVINO部署实战

模型优化、中间表示（IR）与推理。

芯片硬件架构基础

CPU、GPU、NPU、DSP、FPGA的AI加速原理。

内存与带宽优化

内存层级、数据复用、访存优化策略。

算子融合与图优化

算子合并、常量折叠、死代码消除。

图优化编译

芯片指令集与SIMD

NEON、AVX、RISC-V向量扩展在AI推理中的应用。

模型安全与鲁棒性

对抗攻击、模型加密、TEE部署。

多芯片协同推理

模型分片、流水线并行、数据并行。

并行分布式

边缘端部署实战

在树莓派/Jetson Nano上部署YOLOv5。

移动端部署实战

在Android/iOS上部署MobileNet。

模型性能分析工具

Profiling、延迟与吞吐量测量、功耗分析。

Profiling调优

压缩与部署全流程案例

从训练到芯片部署的端到端实践。

端到端综合

芯片AI编译器基础

TVM、MLIR、XLA架构与原理。

AutoML在模型压缩中的应用

自动剪枝率搜索、自动量化策略。

联邦学习与模型压缩

在隐私保护场景下的压缩与部署。

模型压缩前沿技术

混合精度训练、彩票假设、脉冲神经网络。

课程总结与未来展望

AI芯片发展趋势、存算一体、光计算。