第1章
课程导论：大模型为什么需要轻量化？
剪枝与量化的核心思想，嵌入式AI的现状与挑战。
导论背景
第2章
模型剪枝基础
什么是剪枝？结构化剪枝与非结构化剪枝的区别，剪枝的数学原理。
剪枝基础
第3章
剪枝粒度与策略
细粒度剪枝、向量剪枝、通道剪枝、层剪枝，各自的优缺点。
粒度策略
第4章
剪枝标准
基于权重大小、基于梯度、基于L1/L2范数、基于信息熵的剪枝标准。
标准重要性
第5章
经典剪枝算法
Deep Compression、Network Slimming、ThiNet、Soft Filter Pruning。
算法经典
第6章
剪枝流程实战
训练-剪枝-微调（Train-Prune-Finetune）三阶段流程详解。
流程实战
第7章
剪枝工具与框架
PyTorch剪枝API、TensorFlow Model Optimization Toolkit、NNI。
工具框架
第8章
模型量化基础
什么是量化？对称量化与非对称量化，定点数与浮点数。
量化基础
第9章
量化精度与位宽
FP32、FP16、INT8、INT4、二值化网络，精度与性能的权衡。
位宽精度
第10章
量化感知训练（QAT）
模拟量化操作，在训练中学习量化参数。
QAT训练
第11章
训练后量化（PTQ）
无需重新训练，直接对模型进行量化校准。
PTQ校准
第12章
量化工具实战
PyTorch量化模块、TensorRT量化、ONNX Runtime量化。
工具实战
第13章
知识蒸馏入门
教师-学生网络架构，软标签与硬标签，温度参数。
蒸馏入门
第14章
蒸馏策略
离线蒸馏、在线蒸馏、自蒸馏，以及特征层蒸馏。
策略进阶
第15章
轻量化网络结构
MobileNet系列、ShuffleNet、EfficientNet、SqueezeNet。
网络轻量
第16章
注意力机制与轻量化
SENet、CBAM、ECA-Net在轻量化中的应用。
注意力轻量
第17章
模型转换与ONNX
将PyTorch/TF模型导出为ONNX格式，ONNX算子兼容性。
ONNX转换
第18章
模型优化与图优化
算子融合、常量折叠、内存复用、计算图优化。
图优化性能
第19章
嵌入式AI硬件概览
NVIDIA Jetson、Google Coral、Intel Movidius、树莓派。
硬件嵌入式
第20章
TensorRT部署实战
TensorRT的安装、模型解析、引擎构建、动态形状。
TensorRT部署
第21章
ONNX Runtime部署
跨平台推理引擎，CPU/GPU加速，自定义算子。
ONNXRuntime
第22章
TFLite与Edge TPU
模型转换为TFLite格式，量化部署到Edge TPU。
TFLiteEdge TPU
第23章
OpenVINO部署
Intel平台推理优化，模型优化器与推理引擎。
OpenVINOIntel
第24章
ncnn与MNN
移动端推理框架，ARM架构优化，汇编级加速。
ncnnMNN
第25章
嵌入式系统资源分析
内存、算力、功耗、带宽的约束与优化。
资源约束
第26章
模型部署流水线
从训练到端侧推理的完整CI/CD流程。
CI/CD流水线
第27章
性能评测与调优
延迟、吞吐量、内存占用、功耗的测量与优化。
评测调优
第28章
边缘端推理案例
图像分类、目标检测、语义分割在嵌入式设备上的部署。
案例边缘
第29章
多模态模型轻量化
LLM+视觉模型的剪枝与量化，大语言模型在边缘的挑战。
多模态LLM
第30章
课程总结与展望
未来趋势，端侧AI芯片发展，联邦学习与轻量化结合。
总结展望