📘 vLLM 量化推理 · 从入门到精通

✨ 30章完全目录 ✨

01vLLM初识

什么是vLLMPagedAttention连续批处理 vs HuggingFace安装与使用

02模型量化基础

什么是量化对称/非对称精度vs速度 FP16/INT8/INT4

03vLLM量化支持

AWQ/GPTQ/FP8SqueezeLLM适用场景架构设计

04AWQ量化详解

Activation-aware校准过程vLLM使用AWQ精度与性能

05GPTQ量化详解

GPTQ原理Hessian矩阵vLLM使用GPTQ精度表现

06FP8量化详解

FP8原理E4M3/E5M2vLLM FP8Hopper加速

07SqueezeLLM量化

非均匀量化稀疏+量化vLLM使用精度性能

08量化模型加载与配置

--quantization参数quantize_config.jsonKV Cache量化

09量化推理性能评估

吞吐量测试延迟测试内存占用benchmark工具

10量化精度评估

困惑度评估下游任务精度误差分析可视化

11部署实战(一) AWQ·Llama

部署AWQ Llama配置调优API服务

12部署实战(二) GPTQ·Mistral

部署GPTQ Mistral配置调优API服务

13部署实战(三) FP8·Qwen2

FP8 Qwen2部署配置调优API服务

14部署实战(四) SqueezeLLM·Falcon

SqueezeLLM Falcon配置调优API服务

15多GPU量化推理

张量并行+量化负载均衡性能优化

16量化与KV Cache优化

INT8 KV Cache配置与影响长序列推理协同量化

17量化与连续批处理

连续批处理行为批大小影响最优批大小

18量化与PagedAttention

内存管理页表影响内存碎片优化

19自定义校准

校准数据集超参数调优模型验证

20微调与再量化

LoRA微调重新量化QAT集成

21错误排查

加载失败原因推理异常排查性能优化

22安全与合规

输出安全性合规检查版本管理

23vLLM最新特性

MoE量化支持多模态量化未来展望

24生产环境监控

性能监控指标精度漂移检测自动回滚

25推理加速卡适配

NVIDIA优化AMD支持华为昇腾

26成本分析

显存成本节省推理成本计算TCO分析

27模型压缩技术对比

量化vs剪枝vs蒸馏量化+稀疏知识蒸馏协同

28最佳实践总结

量化方法选择部署checklist避坑指南

29量化推理未来趋势

低比特(INT2/1)硬件协同设计边缘设备应用

30综合实战项目

全流程实战多量化推理平台项目总结