📘 vLLM 量化·推理加速
🎯 完整方案
30 章
⚡ 量化实战
🧠 推理引擎
1
vLLM 初探
核心优势 · 安装 · 对比
2
模型量化基础
对称/非对称 · INT8/INT4/FP8
3
vLLM 量化方案概览
GPTQ · AWQ · SqueezeLLM · FP8 KV
4
GPTQ 量化实战
AutoGPTQ · 加载 · 对比测试
5
AWQ 量化实战
激活感知 · AutoAWQ · vs GPTQ
6
FP8 量化 & KV Cache
FP8 详解 · KV Cache 量化
7
SqueezeLLM & 稀疏量化
非均匀量化 · 稀疏化
8
量化模型精度评估
PPL · MMLU · lm-eval-harness
9
vLLM 推理引擎核心
Scheduler · Block Manager · Continuous Batching
10
PagedAttention 机制
内存分页 · 共享 · 量化优势
11
vLLM 配置参数详解
dtype · quantization · max_model_len
12
量化模型部署与服务化
OpenAI API · 监控 · 日志
13
多 GPU 量化推理
Tensor Parallel · Pipeline Parallel
14
量化 & 投机解码
Speculative Decoding · 草稿模型
15
高效前缀缓存
Prefix Caching · 缓存命中优化
16
量化模型的 LoRA 适配
LoRA 微调 · vLLM 支持
17
量化推理显存优化
显存分析 · Offloading · CPU-GPU
18
延迟优化
TTFT · TPOT · 批处理
19
吞吐量优化
RPS · TPS · 动态批处理
20
量化模型与硬件适配
A100 · H100 · 4090 · AMD · MPS
21
精度恢复技术
QAT · 知识蒸馏 · QFT · LoRA
22
vLLM & HuggingFace 生态
下载 · Transformers · Hub
23
在线评估与监控
质量监控 · A/B测试 · 版本管理
24
安全性与合规性
数据隐私 · 审计日志 · 合规部署
25
成本分析
计算/显存/电力 · TCO
26
常见问题与排错
输出异常 · 加载报错 · 精度损失
27
Benchmark & 选型
LLaMA · Mistral · Qwen · 决策树
28
未来趋势
FP4 · 混合精度 · 自动化工具
29
端到端实战 (上)
需求 · 选型 · 部署 · API
30
端到端实战 (下)
压测 · 精度验证 · 监控 · 总结