大语言模型量化推理性能提升实战
📚 共计 30 章节
01
量化基础
什么是模型量化？为什么需要量化？量化的数学原理与数据类型（FP32/FP16/INT8/INT4）。
FP32
INT8
原理
02
量化粒度与策略
Per-tensor、Per-channel、Per-group量化；对称量化与非对称量化。
粒度
对称
非对称
03
PTQ与QAT
训练后量化（PTQ）原理与实践；量化感知训练（QAT）原理与实践。
PTQ
QAT
训练
04
主流量化工具
bitsandbytes、GPTQ、AWQ、GGML/GGUF、llama.cpp 的量化方案对比。
GPTQ
AWQ
GGUF
05
量化模型部署
使用llama.cpp加载量化模型；vLLM与TGI支持；推理速度与内存实测。
部署
vLLM
llama.cpp
06
KV Cache量化
KV Cache原理与瓶颈；INT8/FP8实现；对长文本推理的提升。
KV Cache
INT8
长文本
07
激活值量化
激活值分布特点；SmoothQuant技术；对推理延迟的影响。
SmoothQuant
激活值
延迟
08
权重绑定与共享量化
权重绑定原理；共享量化参数减少存储；实际案例分析。
权重绑定
共享
存储
09
混合精度推理
FP16+INT4混合推理；动态精度选择；硬件适配（NVIDIA/AMD/Apple）。
混合精度
FP16
INT4
10
量化模型精度评估
Perplexity评估；下游任务（MMLU/CEval）评估；精度损失可接受范围。
Perplexity
MMLU
评估
11
量化与稀疏化结合
剪枝+量化联合优化；2:4稀疏量化；实际部署收益分析。
稀疏化
剪枝
2:4
12
量化推理引擎
llama.cpp架构详解；ExLlamaV2量化推理；AutoGPTQ推理优化。
ExLlamaV2
AutoGPTQ
引擎
13
量化模型服务化
FastAPI封装量化模型；并发推理优化；与RAG系统集成。
FastAPI
RAG
服务化
14
量化模型微调
QLoRA原理；量化模型参数高效微调；量化+微调后的推理性能。
QLoRA
微调
高效
15
量化模型硬件适配
GPU量化推理优化；CPU量化推理（AVX2/AVX512）；NPU/TPU量化推理。
GPU
CPU
AVX512
16
量化模型内存优化
量化模型内存布局；PagedAttention与量化结合；内存碎片管理。
PagedAttention
内存
碎片
17
量化模型批处理推理
动态批处理与量化；连续批处理（Continuous Batching）；吞吐量优化。
批处理
Continuous Batching
吞吐
18
量化模型推理加速
FlashAttention与量化；算子融合与量化；CUDA Graph与量化。
FlashAttention
算子融合
CUDA Graph
19
量化模型精度恢复
量化后微调恢复精度；Adaptive Rounding；量化感知训练高级技巧。
精度恢复
Adaptive Rounding
QAT
20
量化模型安全与鲁棒性
量化模型的对抗攻击；隐私保护；鲁棒性评估。
安全
对抗攻击
鲁棒性
21
量化模型多模态扩展
视觉语言模型量化；音频模型量化；多模态量化推理优化。
多模态
视觉
音频
22
量化模型边缘部署
移动端量化推理（MLC-LLM）；嵌入式设备量化推理；功耗优化。
边缘
MLC-LLM
功耗
23
量化模型监控与调优
推理延迟监控；性能Profiling；自动调优策略。
监控
Profiling
自动调优
24
量化模型版本管理
量化模型版本控制；量化配置管理；模型回滚策略。
版本控制
配置管理
回滚
25
量化模型与分布式推理
张量并行与量化；流水线并行与量化；分布式通信优化。
分布式
张量并行
流水线
26
量化模型与缓存优化
CPU缓存优化；GPU显存缓存优化；磁盘缓存策略。
缓存
CPU
GPU
27
量化模型与编译器优化
TVM与量化；Triton与量化；XLA与量化。
TVM
Triton
XLA
28
量化模型与硬件协同设计
量化友好的硬件架构；量化与硬件加速器；硬件适配案例。
硬件协同
加速器
架构
29
量化模型前沿技术
FP8训练与推理；NF4量化；1-bit LLM（BitNet）；最新研究进展。
FP8
NF4
BitNet
30
量化模型综合实战
从模型选择、量化、部署到监控的全流程实战；性能基准测试；生产环境最佳实践。
全流程
基准测试
最佳实践