vLLM 性能压测 · 瓶颈定位
📚 30 章完整版
v1.0
1
vLLM性能压测概述
为什么要做压测 · 吞吐量/延迟/显存 · 部署流程位置
2
压测环境准备
硬件选型 · 软件栈 · Docker搭建
3
压测工具选型与安装
wrk / locust / 自定义脚本 / vLLM benchmark
4
压测指标详解
Tokens/s · TTFT · ITL · 端到端延迟 · QPS
5
压测场景设计
单请求 · 恒定并发 · 阶梯并发 · 突发 · 长序列
6
压测数据采集
vLLM日志 · Prometheus+Grafana · nvidia-smi · 埋点
7
压测脚本编写（基础）
Python requests · 解析响应 · 时间戳
8
压测脚本编写（进阶）
asyncio+aiohttp · 连接池 · 超时重试
9
压测脚本编写（高级）
自定义数据集 · 流式输出 · 多轮对话
10
vLLM核心参数对性能的影响
max_num_seqs · gpu_memory_utilization · block_size
11
调度策略与性能
vLLM调度器 · FCFS · Continuous Batching
12
显存瓶颈定位
KV Cache分析 · OOM排查 · 显存碎片化
13
计算瓶颈定位
GPU利用率 · kernel效率 · FlashAttention
14
I/O瓶颈定位
磁盘I/O · 网络I/O · CPU-GPU带宽
15
CPU瓶颈定位
Python GIL · 预处理/后处理 · Tokenization
16
分布式推理压测
TP · PP · DP 压测方法与对比
17
量化对性能的影响
FP16/INT8/INT4 · AWQ · GPTQ 对比
18
Speculative Decoding压测
投机解码原理 · 加速比 · 命中率
19
Prefix Caching压测
前缀缓存原理 · 命中率 · 缓存预热
20
长上下文压测
32K/128K/1M · 性能衰减 · 显存增长
21
高并发压测
100+并发 · 稳定性 · 排队 · 超时错误率
22
性能基线建立
可复现基线 · 控制变量 · 置信区间
23
性能报告生成
Python生成HTML/PDF · 可视化图表
24
常见性能问题与调优（一）
显存不足 · OOM · 超时 · 吞吐低
25
常见性能问题与调优（二）
首Token延迟高 · ITL抖动 · 长序列骤降
26
常见性能问题与调优（三）
分布式负载不均 · 通信瓶颈 · 梯度不一致
27
vLLM性能调优Checklist
全链路检查清单 · 硬件到软件
28
生产环境压测最佳实践
灰度压测 · 容量规划 · 弹性伸缩 · SLA
29
案例实战（一）单卡A100-80G
Llama-3-8B 压测全流程
30
案例实战（二）8卡A100-80G
Mixtral-8x7B 分布式压测全流程
⚡ 点击卡片跳转对应章节 · 从压测到瓶颈定位