vLLM 分布式部署 · 实战目录
📚 30 章 · 从入门到精通
30个实验
01
课程导论
vLLM简介
分布式需求
前置知识
02
环境准备
GPU/显存
CUDA+PyTorch
Python
03
vLLM安装与基础使用
pip/源码
单GPU推理
04
分布式推理基础
张量并行
流水线并行
05
多GPU通信机制
NCCL
Ring All-Reduce
拓扑优化
06
vLLM分布式配置
tensor-parallel
pipeline-parallel
worker
07
单机多卡部署实战
4卡/8卡
性能调优
问题排查
08
多机多卡部署实战
节点通信
带宽要求
集群脚本
09
vLLM与Kubernetes集成
容器化
K8s资源
自动扩缩容
10
vLLM与SLURM集成
作业脚本
GPU分配
任务调度
11
推理服务API
OpenAI兼容
流式输出
批处理
12
性能监控与调优
吞吐量
延迟
显存监控
13
模型加载与卸载
动态加载
热插拔GPU
版本管理
14
量化与精度优化
FP16/BF16/INT8
KV Cache
PagedAttention
15
前缀缓存 (Prefix Caching)
原理
配置
适用场景
16
vLLM与LangChain集成
RAG应用
Agent调用
流式处理
17
vLLM与FastAPI集成
自定义端点
认证授权
请求限流
18
高可用部署
主备切换
负载均衡
故障恢复
19
安全加固
模型加密
API鉴权
网络隔离
20
成本优化
Spot实例
弹性伸缩
混合部署
21
日志与审计
请求日志
性能日志
异常告警
22
vLLM与Ray集成
Ray Serve
分布式调度
资源管理
23
vLLM与Docker Compose
多服务编排
网络配置
持久化存储
24
vLLM与Triton Inference Server
对比与集成
混合部署
25
vLLM与TensorRT-LLM
性能对比
模型转换
联合优化
26
vLLM与DeepSpeed
推理加速
MII集成
ZeRO优化
27
vLLM与Hugging Face生态
模型下载
缓存管理
自定义模型
28
vLLM与OpenAI API迁移
接口兼容
成本对比
迁移步骤
29
vLLM与监控系统集成
Prometheus
Grafana
告警规则
30
课程总结与最佳实践
架构选型
部署checklist
未来展望