📘 vLLM 推理实战
30章 · 从零到生产
🎯 风格 · 明快色系
01
vLLM初识
概念
PagedAttention · 连续批处理 · 对比TGI/TensorRT-LLM · 适用场景
02
环境准备
GPU
A100/H100/L40S选型 · CUDA+PyTorch · Docker · 虚拟环境
03
安装与验证
入门
pip/源码编译 · 验证安装 · GCC驱动排查
04
快速上手
体验
加载LLaMA/Qwen/ChatGLM · 推理请求 · 流式输出
05
核心概念 (一)
引擎
LLMEngine vs AsyncLLMEngine · SamplingParams · ModelConfig
06
核心概念 (二)
配置
CacheConfig · ParallelConfig · Scheduler调度策略
07
PagedAttention原理
内存
传统Attention浪费 · 分页管理 · KV Cache映射 · 显存提升
08
连续批处理
批处理
静态vs动态 · 迭代级调度 · 排队抢占 · 吞吐量影响
09
模型支持与适配
兼容
支持列表 · HF自动转换 · 自定义注册 · Tokenizer配置
10
量化推理 (一)
INT4/8
FP16/INT8/INT4 · AWQ · GPTQ · 启用量化
11
量化推理 (二)
FP8
SqueezeLLM · FP8 (H100) · 质量评估 · 生产建议
12
OpenAI兼容API
API
vllm serve · /v1/completions · 流式响应 · 参数映射
13
API高级特性
函数调用
Function Calling · Tool Use · JSON模式 · 鉴权
14
客户端开发
SDK
openai库 · cURL · 异步客户端 · 错误重试
15
性能调优 (一)
吞吐
max_num_seqs · block_size · 显存调优 · 前缀缓存
16
性能调优 (二)
推测
Speculative Decoding · Prompt Caching · Chunked Prefill
17
多GPU部署
并行
张量并行 · 流水线并行 · 专家并行 · 多节点
18
生产部署架构
网关
Nginx反向代理 · 负载均衡 · 健康检查 · Kong/APISIX
19
监控与日志
可观测
Prometheus · Grafana · RequestLogger · TTFT/TPOT
20
容器化部署
K8s
Dockerfile · K8s清单 · HPA · GPU资源管理
21
模型热加载与热更新
LoRA
多LoRA管理 · 热切换 · 版本管理 · 蓝绿部署
22
安全与防护
安全
速率限制 · 输入验证 · 内容检测 · DDoS防护
23
多模态模型支持
视觉
LLaVA/Qwen-VL · 图像+文本 · 多模态参数 · 性能优化
24
Embedding与Rerank
向量
Embedding模式 · 向量维度 · Rerank部署 · Milvus/Qdrant
25
离线批处理推理
批处理
OfflineBatchProcessor · 大规模推理 · 结果保存 · 基准测试
26
vLLM与LangChain集成
LangChain
LLM后端 · Chain/Agent · 工具调用 · 生产部署
27
vLLM与Ray集成
Ray
Ray Serve · 分布式集群 · 自动扩缩容 · 高可用
28
常见问题排查
排错
OOM解决 · 推理慢排查 · 模型加载失败 · API超时
29
性能基准测试
压测
vllm-bench · 自定义脚本 · QPS/TTFT/TPOT · 硬件对比
30
生产案例实战
实战
高并发API · 百万日活架构 · Spot实例 · 运维总结