01
vLLM与K8s初识
vLLM是什么 · 为什么需要K8s部署 · vLLM+K8s优势 · 课程目标与前置知识
概念入门
02
环境准备
K8s集群搭建(Minikube/K3s) · GPU节点配置 · NVIDIA驱动与CUDA · Container Runtime
环境GPU
03
vLLM镜像构建
Dockerfile编写 · 基础镜像选择 · 依赖安装 · 模型文件打包 · 镜像优化瘦身
Docker镜像
04
K8s基础概念回顾
Pod · Deployment · Service · ConfigMap · Secret · PersistentVolumeClaim
核心概念
05
单副本部署实战
编写第一个Deployment YAML · 暴露Service · 测试推理接口 · 日志与监控
实战YAML
06
多副本部署原理
水平扩展(HPA)概念 · vLLM无状态设计 · 负载均衡策略 · 会话亲和性考量
架构HPA
07
HPA配置实战
Metrics Server安装 · 基于CPU/GPU利用率扩缩 · 自定义指标扩展
自动伸缩GPU
08
Service与Ingress
ClusterIP/NodePort/LoadBalancer · Ingress Controller · TLS终止
网络Ingress
09
ConfigMap与Secret管理
模型配置参数外部化 · API密钥管理 · 环境变量注入 · 热更新策略
配置安全
10
持久化存储
模型文件存储(NFS/EFS/MinIO) · PVC/PV配置 · ReadWriteMany访问模式
存储PVC
11
资源限制与QoS
Requests/Limits设置 · GPU资源分配 · Guaranteed/Burstable/BestEffort
资源QoS
12
健康检查与就绪探针
Liveness/Readiness/Startup Probe · 自定义健康检查端点
探针高可用
13
滚动更新与回滚
Deployment更新策略 · maxSurge/maxUnavailable · 回滚历史管理
更新回滚
14
蓝绿部署与金丝雀发布
多Service路由 · 流量权重分配 · 渐进式发布 · 快速回退机制
发布金丝雀
15
监控与告警
Prometheus+Grafana · vLLM指标暴露 · GPU监控(DCGM) · 自定义告警
监控告警
16
日志收集
Fluentd/Logstash · Elasticsearch · Kibana · 结构化日志解析
日志ELK
17
网络策略与安全
NetworkPolicy · Pod安全上下文 · Seccomp/AppArmor · 镜像安全扫描
安全网络
18
多节点调度
NodeSelector/NodeAffinity · Taints/Tolerations · PodTopologySpread
调度亲和性
19
GPU共享与MIG
NVIDIA MIG配置 · vGPU方案对比 · 时间切片调度 · 多实例GPU优化
GPUMIG
20
模型缓存与预热
模型加载优化 · 预热请求脚本 · 持久化缓存卷 · 启动初始化容器
性能缓存
21
批处理与并发控制
vLLM批处理参数调优 · max_num_seqs · 并发限流 · 队列管理
并发调优
22
多模型管理
多Deployment部署 · 模型路由网关 · 模型版本管理 · A/B测试框架
多模型路由
23
成本优化
Spot实例 · GPU利用率监控 · 自动缩容到零 · 预留与按需混合
成本Spot
24
故障排查
Pod CrashLoop诊断 · OOM处理 · GPU显存泄漏 · 网络超时调试
排障调试
25
性能基准测试
Locust/Vegeta · 吞吐量与延迟指标 · 性能调优方法论
测试性能
26
CI/CD集成
GitOps(ArgoCD) · 镜像自动构建 · 自动化测试 · 灰度发布流水线
CI/CDGitOps
27
多集群部署
联邦集群 · 跨区域负载均衡 · 模型同步 · 灾备与高可用
多集群灾备
28
Serverless部署
Knative Serving · 按需扩缩容 · 冷启动优化 · 请求驱动生命周期
ServerlessKnative
29
生产环境最佳实践
资源规划清单 · 安全基线 · 备份恢复 · SLA/SLO定义
生产最佳实践
30
案例实战
从零搭建生产级vLLM推理平台 · 架构设计 · 运维手册 · 团队协作
综合实战案例