⚡
vLLM 精度·速度调优
📘 30章 从入门到实战
🎯
友好 · 平衡之道
01
vLLM初探
什么是vLLM
核心优势
与传统推理框架对比
安装与快速启动
02
推理精度基础
量化基础 (FP16/INT8/INT4)
精度损失原因分析
评估指标 (PPL/BLEU/ROUGE)
03
推理速度基础
吞吐量与延迟
TTFT 与 ITL
批处理 (Batching) 原理
04
PagedAttention机制
vLLM核心创新
传统KV Cache问题
解决显存碎片
Block管理策略
05
连续批处理
静态 vs 动态批处理
vLLM调度策略
等待时间与吞吐量权衡
06
KV Cache量化
FP8 KV Cache原理
INT4 KV Cache实现
精度速度实测对比
调优经验
07
权重量化
GPTQ / AWQ原理
SmoothQuant技术
量化后模型加载
08
混合精度推理
FP16+INT4混合
不同层不同精度
MoE特殊处理
大模型部署实践
09
张量并行 (TP)
TP原理与切分策略
TP与精度关系
通信开销分析
显存节省效果
10
流水线并行 (PP)
PP原理与微批次
负载均衡问题
PP与TP组合使用
11
推测解码
原理与工作流程
草稿模型选择
接受率影响
实测数据
12
前缀缓存
原理与适用场景
命中率优化
多轮对话缓存策略
显存节省效果
13
调度策略调优
max_num_seqs调优
max_model_len调优
调度队列优先级
高并发配置
14
显存管理优化
gpu_memory_utilization
swap空间使用
CPU Offloading
显存碎片整理
15
输入输出长度控制
max_input/output_length
长文本优化
截断策略对精度影响
16
采样参数调优
temperature/top_p/top_k
repetition_penalty影响
采样与批处理交互
17
vLLM与HF模型适配
HF模型转vLLM格式
自定义模型注册
tokenizer兼容性
踩坑经验
18
多GPU部署策略
单节点多卡 vs 多节点
NVLink与InfiniBand
通信拓扑优化
显存均衡策略
19
量化感知训练 (QAT)
QAT原理简介
vLLM中的QAT支持
QAT vs PTQ精度对比
训练数据准备
20
精度-速度权衡矩阵
不同配置精度/速度数据
根据业务选择配置
自动化调优工具
21
在线推理服务优化
vLLM与FastAPI集成
请求排队策略
超时与重试机制
服务监控指标
22
离线批处理推理
批量推理配置
数据预处理/后处理
结果收集与性能分析
大规模任务调度
23
vLLM与LoRA适配器
LoRA推理原理
多LoRA切换
LoRA与量化兼容性
部署经验
24
多模态模型支持
视觉语言模型支持
多模态输入预处理
精度与速度平衡点
25
日志与监控
vLLM日志配置
性能指标采集
Prometheus集成
告警设置
26
常见错误与调试
OOM错误排查
精度异常调试
通信错误处理
性能瓶颈分析
27
vLLM版本升级指南
版本变更对精度影响
配置文件迁移
新特性使用
回滚策略
28
生产环境最佳实践
容器化部署
Kubernetes集成
自动扩缩容
灰度发布策略
29
前沿技术展望
FP8训练与推理
稀疏化推理
动态量化
vLLM未来路线图
30
综合实战项目
模型选择到部署上线
精度速度调优记录
性能报告生成
总结与反思