vLLM生态崛起：从推理引擎到AI基础设施
📚 共计 30 章节
01
vLLM的诞生背景
大模型推理的痛点与PagedAttention的破局
背景
PagedAttention
02
PagedAttention核心原理
虚拟内存分页思想在KV Cache上的应用
原理
KV Cache
03
vLLM架构总览
调度器、块管理器、推理引擎的协作
架构
调度器
04
vLLM安装与部署
从pip安装到Docker部署的完整流程
部署
Docker
05
vLLM核心API
Offline Batched Inference与Online Serving
API
推理
06
vLLM性能调优
max_num_seqs、gpu_memory_utilization等关键参数
调优
参数
07
vLLM与HuggingFace生态集成
模型加载与权重转换
HuggingFace
集成
08
vLLM的量化支持
AWQ、GPTQ、FP8量化实践
量化
AWQ
FP8
09
vLLM的分布式推理
张量并行与流水线并行
分布式
并行
10
vLLM的Prefix Caching机制
共享前缀的加速原理
缓存
加速
11
vLLM的Speculative Decoding
投机解码的加速逻辑
解码
投机
12
vLLM的OpenAI兼容API
一键替换现有服务
API
兼容
13
vLLM的MoE模型支持
Mixtral 8x7B的推理优化
MoE
Mixtral
14
vLLM的多模态扩展
LLaVA、Qwen-VL等模型支持
多模态
LLaVA
15
vLLM的LoRA适配
动态LoRA加载与切换
LoRA
微调
16
vLLM的日志与监控
Prometheus指标与Grafana看板
监控
Prometheus
17
vLLM的调度策略
FCFS与优先级队列
调度
FCFS
18
vLLM的Chunked Prefill
减少TTFT的优化技术
Prefill
TTFT
19
vLLM的Automatic Prefix Caching
无需手动配置的缓存
缓存
自动
20
vLLM的模型热加载
不重启服务更新模型
热加载
动态
21
vLLM的GPU内存管理
显存碎片整理与复用
显存
碎片
22
vLLM的CPU Offloading
显存不足时的降级方案
CPU
Offload
23
vLLM的Benchmark工具
性能测试与对比分析
Benchmark
性能
24
vLLM的RESTful API设计
自定义路由与中间件
REST
API
25
vLLM的流式输出
Server-Sent Events实现
流式
SSE
26
vLLM的Function Calling
工具调用与结构化输出
Function
工具
27
vLLM的Guided Decoding
JSON Schema约束生成
Guided
JSON
28
vLLM的集群部署
Kubernetes与Ray集成
集群
K8s
Ray
29
vLLM生态对比
与TGI、TensorRT-LLM、SGLang的差异
对比
TGI
TensorRT
30
vLLM的未来演进
从推理引擎到AI操作系统
未来
AI操作系统