📘 vLLM & K8s 实战
30章 · 从入门到生产
🚀 友好 · 蓝海资料掘金营
01
vLLM简介
vLLM是什么
PagedAttention
高吞吐
对比传统框架
02
环境准备
GPU服务器选型
CUDA & PyTorch
Docker & NVIDIA Toolkit
03
vLLM快速上手
加载模型
推理请求
性能基准测试
04
vLLM高级配置
TP/PP并行
KV Cache优化
Continuous Batching
05
vLLM API服务
OpenAI兼容API
客户端调用
并发与负载测试
06
vLLM量化部署
AWQ/GPTQ原理
加载量化模型
精度与性能权衡
07
vLLM多模态支持
视觉语言模型
多模态推理配置
08
Kubernetes基础回顾
Pod
Deployment
Service
Ingress
09
Kubernetes GPU管理
NVIDIA GPU Operator
GPU资源调度
MIG配置
10
Docker镜像构建
编写Dockerfile
多阶段构建
镜像瘦身
11
Helm Chart编写
Chart结构
values.yaml
模板化部署vLLM
12
Kubernetes部署vLLM
Deployment YAML
资源限制与请求
GPU节点选择器
13
Service与Ingress配置
暴露API服务
TLS证书
域名绑定
14
ConfigMap与Secret管理
模型路径配置
API密钥管理
环境变量注入
15
持久化存储
PV/PVC概念
挂载模型文件
NFS或对象存储
16
水平自动扩缩容 (HPA)
GPU利用率HPA
自定义指标扩缩容
17
垂直自动扩缩容 (VPA)
VPA原理
vLLM场景适用性
18
集群自动扩缩容 (CA)
Cluster Autoscaler
GPU节点池管理
19
监控与日志
Prometheus + Grafana
vLLM指标
ELK日志收集
20
告警配置
关键指标告警
PagerDuty/钉钉
21
健康检查
Liveness/Readiness
优雅关闭
热更新
22
滚动更新与回滚
Deployment更新策略
金丝雀发布
回滚操作
23
多模型管理
多vLLM实例
模型路由策略
24
资源隔离
Namespace隔离
ResourceQuota
LimitRange
25
安全加固
Pod安全策略
网络策略
镜像扫描
26
成本优化
Spot实例
GPU共享
按需扩缩容
27
性能调优
vLLM参数调优
K8s资源调优
网络延迟优化
28
故障排查
OOM / CUDA OOM
模型加载失败
日志分析
29
生产最佳实践
高可用架构
灾备方案
SLA保障
30
综合实战
从零搭建推理平台
CI/CD流水线
运维手册编写