01
K8s与vLLM初识
Kubernetes核心概念（Pod、Service、Deployment）· vLLM推理框架简介· 为什么用K8s管理vLLM
概念入门
02
环境准备
安装Minikube/Kind搭建本地K8s集群· 安装kubectl· 配置Docker与GPU支持
环境GPU
03
Docker基础与vLLM镜像
Dockerfile编写· 构建vLLM推理镜像· 推送镜像到私有仓库
Docker镜像
04
第一个Pod
编写YAML部署vLLM Pod· 生命周期管理· 查看日志与状态
PodYAML
05
Service与网络
ClusterIP暴露vLLM· NodePort/LoadBalancer区别· DNS与服务发现
网络Service
06
Deployment与滚动更新
定义Deployment管理副本· 滚动更新策略· 回滚操作
Deployment更新
07
ConfigMap与Secret
ConfigMap管理vLLM配置· Secret管理API密钥· 挂载配置到Pod
配置安全
08
持久化存储
PV与PVC概念· 为vLLM模型配置持久卷· HostPath/NFS示例
存储PV/PVC
09
GPU资源管理
NVIDIA GPU Operator· Pod请求GPU· 监控GPU使用率
GPU监控
10
HPA自动伸缩
基于CPU/Metrics的HPA· 自定义vLLM指标伸缩· VPA简介
伸缩HPA
11
Ingress与域名访问
Nginx Ingress Controller· 域名路由到vLLM· HTTPS证书配置
Ingress域名
12
健康检查与探针
livenessProbe/readinessProbe/startupProbe· vLLM健康端点
探针健康
13
资源限制与QoS
CPU/内存requests/limits· Guaranteed/Burstable/BestEffort· 避免OOM
QoS资源
14
命名空间与多租户
Namespace隔离· ResourceQuota· RBAC基础
多租户RBAC
15
Helm包管理
安装Helm· 使用Chart部署vLLM· 自定义values.yaml
HelmChart
16
日志收集
kubectl logs实时日志· 集成Loki/Elasticsearch· 日志持久化
日志Loki
17
监控与告警
Prometheus Operator· vLLM Metrics采集· Grafana· Alertmanager
监控告警
18
vLLM高级配置
模型并行/张量并行· KV Cache优化· 连续批处理调优
性能调优
19
多模型管理
部署多个vLLM模型· 模型路由策略· 蓝绿部署
多模型路由
20
CI/CD集成
GitLab CI/GitHub Actions自动构建镜像· 自动部署· 回滚机制
CI/CD自动化
21
安全最佳实践
Pod安全策略· NetworkPolicy· 镜像扫描与签名
安全策略
22
备份与恢复
etcd备份· vLLM配置与模型备份· 灾难恢复演练
备份容灾
23
性能压测
Locust/wrk压测vLLM· 分析瓶颈· 调整K8s资源
压测性能
24
成本优化
Spot实例· Cluster Autoscaler· 资源超卖
成本Spot
25
服务网格
Istio基础· 流量管理· 灰度发布· 可观测性
Istio网格
26
GPU共享与MIG
NVIDIA MIG配置· GPU时间片共享· vGPU方案对比
MIG共享
27
边缘部署
K3s轻量级K8s· 边缘节点部署vLLM· 离线推理场景
边缘K3s
28
故障排查
Pod启动失败· CrashLoopBackOff处理· 网络问题诊断
排障诊断
29
生产环境案例
某公司vLLM推理平台架构· 高可用设计· SLA保障
案例高可用
30
总结与进阶
学习路线图· CKA/CKAD认证· vLLM社区贡献指南
总结认证