01
vLLM初识
什么是vLLM · PagedAttention · 连续批处理 · 对比TGI/FasterTransformer
核心优势架构对比
02
环境准备
GPU驱动 · CUDA/cuDNN · Docker & NVIDIA Container Toolkit
驱动安装容器环境
03
vLLM快速上手
加载Llama/Qwen · OpenAI API服务 · curl测试推理
模型加载API测试
04
vLLM核心配置
dtype · tensor-parallel-size · max-num-seqs · temperature/top-p
调度参数采样参数
05
K8s基础回顾
Pod/Deployment/Service/Ingress · kubectl · Namespace
核心概念常用命令
06
K8s集群搭建
kubeadm单机/多节点 · kubectl配置 · 节点状态检查
集群部署验证
07
GPU节点配置
NVIDIA GPU Operator · nvidia-device-plugin · 可调度性验证
GPU Operator设备插件
08
存储基础
EmptyDir · HostPath · PV/PVC · StorageClass动态供给
临时存储持久卷
09
ConfigMap与Secret
管理vLLM配置 · HuggingFace Token · 敏感信息
配置管理密钥
10
vLLM Docker镜像制作
Dockerfile · 多阶段构建 · 镜像推送私有仓库
容器化镜像优化
11
编写vLLM Deployment YAML
资源请求/限制 · GPU · 环境变量 · 模型卷挂载
Deployment资源配额
12
编写vLLM Service YAML
ClusterIP/NodePort/LoadBalancer · 端口映射8000→80
服务暴露端口
13
Ingress配置
Nginx Ingress Controller · TLS证书 · 域名访问
IngressHTTPS
14
模型存储方案
PVC挂载NFS/云存储 · InitContainer预热 · 下载策略
模型持久化预热
15
HPA自动扩缩容
GPU利用率 · QPS · Metrics Server · 自定义指标
弹性伸缩监控
16
资源配额管理
ResourceQuota · LimitRange · Pod优先级与抢占
配额优先级
17
健康检查与就绪探针
livenessProbe · readinessProbe · startupProbe
探针高可用
18
日志与监控
kubectl logs · Prometheus · Grafana仪表盘
监控可视化
19
多模型部署
多个Deployment · Service Mesh(Istio) · 流量路由
多模型Istio
20
模型热更新
滚动更新 · 蓝绿部署 · 金丝雀发布
更新策略灰度发布
21
性能调优
max-num-batched-tokens · CPU Manager · Topology Manager
调优CPU亲和
22
故障排查
CrashLoopBackOff · OOMKilled · GPU内存泄漏 · 日志分析
排错OOM
23
安全加固
PSP/PSA · NetworkPolicy · 镜像扫描
安全策略网络隔离
24
多节点推理
tensor-parallel-size跨节点 · nodeAffinity · podAntiAffinity
分布式亲和性
25
CI/CD集成
GitLab CI/GitHub Actions · 镜像构建 · ArgoCD GitOps
CI/CDGitOps
26
成本优化
抢占式实例 · PodDisruptionBudget · Cluster Autoscaler
成本Spot
27
生产环境最佳实践
资源预留 · Pod安全上下文 · 拓扑分布约束
最佳实践生产
28
案例实战一：Qwen2-7B
部署Qwen2-7B-Instruct · HPA · Ingress · 公网访问
实战Qwen2
29
案例实战二：Llama3-70B
多节点张量并行 · 监控告警 · 大模型部署
Llama370B
30
总结与展望
vLLM+K8s架构总结 · Serverless推理 · 最佳实践清单
未来趋势清单