📘 vLLM 双模式实战离线批处理 + 在线服务

⭐ 30章 · 友好色

01

vLLM初识：核心优势与安装 PagedAttention · 连续批处理 · 环境配置

02

离线批处理基础 LLM类加载 · 批量生成 · temperature/top_p

03

离线批处理进阶 SamplingParams · 异步机制 · 长文本处理

04

在线服务基础 OpenAI兼容API · vllm serve · curl调用

05

在线服务进阶 Python requests · chat/completions · 并发管理

06

模型加载与配置 HuggingFace/本地/量化(GPTQ,AWQ)加载

07

PagedAttention机制传统内存问题 · KV Cache管理 · 节省实测

08

连续批处理动态/静态批处理 · 调度策略 · 吞吐量对比

09

性能监控与调优 GPU内存/延迟监控 · 内置统计 · 调度器优化

10

批处理大小与并发控制 max_num_batched_tokens · max_num_seqs

11

前缀缓存 (Prefix Caching) 启用 · 适用场景 · 缓存命中率优化

12

推测解码 (Speculative Decoding) 草稿模型 · 加速评估 · 配置调优

13

多LoRA适配器支持 LoRA加载 · 动态切换 · 多适配器并发

14

多模态模型支持视觉语言模型(LLaVA) · 图像输入推理

15

分布式推理张量并行 · 流水线并行 · 多GPU部署

16

vLLM与LangChain集成 LLMChain · Agent · 在线服务调用

17

vLLM与FastAPI集成自定义端点 · 流式响应 · 推理服务

18

vLLM与Docker部署 Dockerfile · docker-compose · 生产实践

19

vLLM与Kubernetes部署 Deployment · Service · HPA自动扩缩容

20

请求调度与负载均衡 Nginx/Traefik · 会话保持 · 亲和性

21

日志与监控结构化日志 · Prometheus · Grafana · 告警

22

错误处理与重试机制 OOM/超时 · 指数退避 · 熔断

23

安全与访问控制 API认证 · 速率限制 · 提示注入防护

24

离线批处理实战文本分类/生成/翻译 · 结果导出

25

在线服务实战智能客服 · 代码生成 · RAG问答

26

性能基准测试 benchmark工具 · 场景设计 · 报告生成

27

成本优化 GPU选择 · Spot实例 · 预留/按需分析

28

版本升级与迁移更新日志 · API兼容 · 平滑升级/回滚

29

常见问题排查模型加载/OOM/超时 · 性能瓶颈定位

30

综合项目实战统一推理平台 · 监控/日志/告警体系

点击卡片跳转对应章节 · 30章完整目录