vLLM 分布式推理集群搭建实战
📘 30章 · 从入门到生产
🚀 友好色系
01课程导学与前置知识
vLLM简介分布式推理概念课程目标与学习路径硬件与软件环境要求
02vLLM核心原理
PagedAttention机制KV Cache管理连续批处理vLLM架构总览
03环境准备
GPU服务器选型建议CUDA与NVIDIA驱动安装Docker与NVIDIA Container ToolkitPython虚拟环境搭建
04vLLM单机部署
源码安装与pip安装模型下载与加载启动OpenAI兼容API服务客户端调用测试
05vLLM核心参数详解
模型参数推理参数调度参数max-num-seqs / batched-tokens
06性能基准测试
内置benchmark工具吞吐量与延迟测量不同模型/参数对比性能调优技巧
07分布式推理基础
模型并行 TP/PP数据并行DP张量并行原理流水线并行原理
08多GPU单节点部署
张量并行配置流水线并行配置显存均衡与调优4卡A100部署Llama 3 70B
09多节点集群部署
RDMA/InfiniBand vs TCPRay框架集成集群配置文件详解启动多节点推理服务
10集群网络配置
高性能网络需求分析InfiniBand配置与验证RoCE配置网络带宽对推理影响
11vLLM与Ray深度集成
Ray Cluster搭建Ray Serve部署vLLM自动扩缩容配置故障恢复机制
12模型加载与分片
Hugging Face下载策略模型分片ShardingSafeTensors与PyTorch权重自定义模型加载器
13量化推理
FP16/INT8/INT4基础AWQ与GPTQ格式vLLM量化配置性能与精度对比
14Prefix Caching 前缀缓存
原理与适用场景启用Prefix Caching性能提升实测注意事项与限制
15Speculative Decoding
原理与加速效果vLLM配置推测解码草稿模型选择策略实际部署经验
16多模态模型支持
视觉语言模型支持LLaVA / Qwen-VL部署多模态推理参数性能优化建议
17LoRA适配器管理
LoRA原理简介动态加载/卸载LoRA多LoRA并发推理LoRA与量化结合
18API服务高级配置
请求排队与限流超时与重试策略API Key认证鉴权日志与监控集成
19vLLM与LangChain集成
LangChain基础回顾vLLM作为LLM后端Chain与Agent构建流式输出实现
20vLLM与FastAPI自定义服务
自定义推理接口WebSocket实时通信批处理请求优化健康检查与探针
21监控与可观测性
Prometheus指标暴露Grafana仪表盘搭建TTFT/TPOT/ITL解读告警规则配置
22日志管理
日志级别配置结构化日志输出ELK/EFK日志收集常见错误日志分析
23高可用部署
主备切换策略负载均衡器 Nginx/HAProxy无状态服务设计滚动更新与蓝绿部署
24安全加固
模型文件安全API访问控制DDoS防护策略容器安全最佳实践
25成本优化
Spot/抢占式实例自动扩缩容策略模型缓存与预热GPU利用率优化
26常见问题排查
OOM显存溢出处理模型加载失败排查分布式通信超时性能瓶颈定位
27性能调优实战
单卡到多节点调优Profiling Nsight Systems内核参数优化最佳实践总结
28生产环境案例
大模型API服务平台架构日处理百万请求集群设计运维经验分享成本与收益分析
29vLLM社区与生态
版本演进与RoadmapTGI / TensorRT-LLM / llama.cpp贡献指南学习资源推荐
30课程总结与展望
核心知识点回顾分布式推理未来趋势学员进阶路径结业项目建议