第1章
稀疏计算基础
什么是稀疏性？为什么大模型需要稀疏计算？稀疏矩阵的存储格式（COO、CSR、CSC）。
稀疏格式基础概念
第2章
剪枝理论基础
剪枝的分类（结构化/非结构化、静态/动态）、剪枝粒度、剪枝标准（权重幅度、梯度、海森矩阵）。
结构化非结构化剪枝标准
第3章
非结构化剪枝实战
基于权重大小、梯度大小、SNIP、GraSP的剪枝方法。
SNIPGraSP权重剪枝
第4章
结构化剪枝实战
通道剪枝（BN层gamma值）、滤波器剪枝（L1范数）、层剪枝（重要性评分）。
通道剪枝滤波器层剪枝
第5章
剪枝调度策略
一次性剪枝 vs 迭代式剪枝、渐进式剪枝、彩票假说。
迭代剪枝彩票假说调度
第6章
剪枝后微调
微调必要性、学习率调度、知识蒸馏辅助微调、逐步恢复稀疏训练。
微调蒸馏学习率
第7章
稀疏矩阵乘法
基本原理、GPU实现、cuSPARSE库、Triton自定义稀疏算子。
cuSPARSETritonGPU
第8章
稀疏注意力机制
稀疏注意力动机、局部注意力、全局注意力、BigBird与Longformer。
BigBirdLongformer滑动窗口
第9章
稀疏Transformer架构
Sparse Transformer、Reformer（LSH）、Routing Transformer、Sinkhorn Attention。
ReformerLSHSinkhorn
第10章
混合专家模型（MoE）
MoE原理、稀疏门控、负载均衡损失、Switch Transformer & Mixtral 8x7B。
MoESwitch Transformer门控
第11章
权重量化与稀疏的协同
量化感知剪枝、稀疏量化联合优化、混合精度稀疏推理。
量化混合精度协同
第12章
蒸馏与剪枝的协同
知识蒸馏原理、剪枝+蒸馏联合训练、TinyBERT与DistilBERT剪枝实践。
蒸馏TinyBERTDistilBERT
第13章
稀疏训练
静态稀疏训练、动态稀疏训练、RigL与SET算法。
动态稀疏RigLSET
第14章
硬件感知剪枝
N:M稀疏、NVIDIA Ampere硬件支持、2:4结构化稀疏实现。
N:MAmpere2:4
第15章
剪枝工具与框架
PyTorch prune、TensorFlow Model Optimization、Intel Neural Compressor、NNI。
PyTorchNNIIntel
第16章
稀疏推理引擎
DeepSparse、Neural Magic、ONNX Runtime、TensorRT稀疏推理。
DeepSparseTensorRTONNX
第17章
大模型剪枝实战（BERT）
BERT结构分析、剪枝策略、精度恢复、加速比测试。
BERT精度恢复加速比
第18章
大模型剪枝实战（GPT）
GPT结构分析、剪枝策略、生成质量评估、加速比测试。
GPT生成质量剪枝
第19章
大模型剪枝实战（LLaMA）
LLaMA结构分析、剪枝策略、Few-shot性能评估、部署。
LLaMAFew-shot部署
第20章
稀疏计算在推理加速中的应用
KV Cache稀疏化、Prefill/Decode优化、FlashAttention结合。
KV CacheFlashAttention推理
第21章
稀疏计算在边缘部署中的应用
模型压缩、内存带宽优化、MNN/TNN/NCNN框架。
边缘MNNNCNN
第22章
稀疏计算在长文本场景中的应用
稀疏注意力处理长序列、RAG、文档摘要。
长文本RAG摘要
第23章
稀疏计算在多模态模型中的应用
视觉Transformer稀疏化、CLIP剪枝、多模态稀疏对齐。
多模态CLIP视觉
第24章
稀疏计算的评估指标
稀疏度、压缩率、加速比、精度损失、FLOPs减少、内存节省。
指标加速比FLOPs
第25章
稀疏计算的Benchmark
SparseZoo、MLPerf推理、自定义Benchmark流程。
SparseZooMLPerf基准
第26章
稀疏计算的常见陷阱与调试
梯度消失、训练不稳定、负载不均衡、精度恢复失败分析。
调试陷阱稳定性
第27章
稀疏计算的前沿研究
动态稀疏网络、条件计算、稀疏MoE改进、可微分剪枝。
前沿动态可微分
第28章
稀疏计算与联邦学习
联邦模型压缩、稀疏通信、客户端剪枝、服务器聚合。
联邦学习通信聚合
第29章
稀疏计算与安全
后门攻击、剪枝对鲁棒性影响、对抗样本防御。
安全后门鲁棒性
第30章
综合实战项目
从零构建稀疏大模型推理系统：剪枝+量化+蒸馏+稀疏推理引擎部署。
全流程项目部署