模型压缩与部署优化的意义、行业现状与挑战、课程大纲与学习路径。
量化的数学原理、对称量化与非对称量化、量化参数(scale, zero-point)详解。
动态量化、静态量化、Calibration数据集的选择与构建。
模拟量化、直通估计器(STE)、QAT训练流程与技巧。
剪枝的分类(结构化/非结构化)、剪枝粒度、剪枝标准(L1/L2/梯度/信息熵)。
通道剪枝、滤波器剪枝、基于BN层γ系数的剪枝、剪枝后微调策略。
权重剪枝、梯度剪枝、稀疏矩阵存储格式(CSR/CSC)、硬件对稀疏性的支持。
蒸馏的动机、软标签与硬标签、温度系数T的作用、蒸馏损失函数设计。
自蒸馏、多教师蒸馏、在线蒸馏、特征层蒸馏(FitNet, AT, SP)。
BERT蒸馏为TinyBERT、DistilBERT、MobileBERT的架构差异与效果对比。
SVD分解、CP分解、Tucker分解在Transformer中的应用、分解后模型的重构与微调。
ALBERT的跨层参数共享、跨头参数共享、效果与效率权衡。
深度可分离卷积、分组卷积、Transformer轻量化(MHA→MQA/GQA)。
稀疏注意力、滑动窗口注意力、Linformer、Performer、FlashAttention原理。
TVM、TensorRT、ONNX Runtime、XLA的编译优化流程与算子融合。
PyTorch/TF模型导出ONNX、ONNX算子兼容性处理、动态轴与静态轴设置。
TensorRT工作流、FP16/INT8精度配置、动态shape处理、Plugin自定义算子。
Flask/FastAPI搭建推理服务、Docker容器化、gRPC与RESTful API对比。
vLLM、TGI、TensorRT-LLM的Continuous Batching、PagedAttention原理。
KV Cache优化、动态批处理(Dynamic Batching)、请求调度策略。
TFLite、NCNN、MNN、CoreML的模型转换与端侧推理优化。
模型加密存储、混淆推理、TEE安全 enclave、对抗攻击防御。
推理延迟监控、吞吐量监控、模型漂移检测、A/B测试框架设计。
模型注册中心(MLflow Model Registry)、版本控制策略、灰度发布与回滚机制。
模型并行、张量并行、流水线并行、DeepSpeed Inference原理。
ONNX导出、TensorRT优化、服务化部署与压测。
1-bit LLM(BitNet)、模型架构搜索(NAS)、硬件-算法协同设计。
知识体系回顾、面试高频考点、学习资源推荐与职业规划建议。