vLLM 推理部署
30 章 · 从零上手
🎯
友好 · 全彩目录
01
vLLM 初识
什么是vLLM · PagedAttention · 连续批处理 · 对比HF Transformers
↗
02
环境准备
GPU显存 · CUDA · 虚拟环境 · pip install vllm · 验证安装
↗
03
快速上手
加载Qwen2.5-7B · 离线推理 · token/logprobs 输出结构
↗
04
在线服务部署
vllm serve · curl测试 · openai Python客户端调用
↗
05
核心参数详解 (上)
max_tokens · temperature · top_p · top_k · frequency/presence_penalty
↗
06
核心参数详解 (下)
stop · best_of · n · logprobs · seed · streaming
↗
07
模型管理与加载
Hugging Face下载 · 本地模型 · 自定义路径 · trust_remote_code
↗
08
量化与精度控制
AWQ · GPTQ · FP8 · 量化对速度/精度的影响
↗
09
多GPU部署与张量并行
tensor_parallel_size · 流水线并行 · 多卡实战
↗
10
性能调优 (上)
max_num_batched_tokens · preemption_mode · KV Cache管理
↗
11
性能调优 (下)
Profiling · nvidia-smi · 常见性能瓶颈分析
↗
12
高级特性
Prefix Caching · Speculative Decoding · LoRA加载切换
↗
13
多模态模型支持
LLaVA · Qwen-VL · 图像输入处理 · 多模态推理示例
↗
14
日志与监控
日志级别 · Request Statistics · Prometheus集成
↗
15
错误处理与调试
OOM · CUDA out of memory · 日志查看 · 调试技巧
↗
16
安全与访问控制
API Key认证 · Rate Limiting · 白名单/黑名单
↗
17
生产环境部署 (Docker)
Dockerfile · docker-compose 编排vLLM
↗
18
Kubernetes 部署
Deployment/Service YAML · HPA 水平扩展
↗
19
负载均衡
Nginx反向代理 · 负载均衡策略 · 健康检查
↗
20
与 LangChain 集成
LLM后端 · RAG应用 · Chain调用示例
↗
21
与 FastAPI 集成
自定义API端点 · 业务逻辑 · 完整推理服务
↗
22
流式输出实战
SSE原理 · 流式聊天接口 · 前端实时显示
↗
23
函数调用 (Function Calling)
工具Schema · 函数调用示例
↗
24
结构化输出
Outlines/JSON模式 · 约束解码 · 生成结构化数据
↗
25
Benchmark & 压力测试
run_batch · wrk/vegeta · 延迟与吞吐量分析
↗
26
模型微调后的部署
加载LoRA权重 · 合并基座 · 部署微调模型
↗
27
多模型管理与路由
多模型加载 · 动态切换 · 路由策略
↗
28
vLLM 源码浅析 (选读)
PagedAttention · Scheduler · Block Manager
↗
29
社区与生态
GitHub · 贡献指南 · TGI · Ray Serve
↗
30
综合实战
高并发低延迟服务 · 监控 · 日志 · 负载均衡 · 自动扩缩容
↗