01
课程导学：为什么需要为vLLM做自动扩缩容？
vLLM推理的痛点与挑战，自动扩缩容的价值
导学动机
02
环境准备：K8s集群搭建与GPU节点配置
Minikube/K3s · NVIDIA驱动 · CUDA安装
环境GPU
03
vLLM基础：架构解析与性能基准
模型加载、推理流程、性能测试
vLLM推理
04
K8s核心概念回顾
Pod · Deployment · Service · Ingress · ConfigMap · Secret
K8s概念
05
vLLM容器化：Dockerfile与镜像构建
编写Dockerfile · 构建镜像 · 推送到私有仓库
容器Docker
06
K8s部署vLLM：Deployment与Service
YAML编写 · GPU资源限制 · 暴露服务
部署YAML
07
水平自动扩缩容(HPA)原理
HPA工作流程 · Metrics Server · CPU/Memory指标
HPA原理
08
基于CPU的HPA实战
配置CPU阈值 · 观察扩缩容 · 压力测试验证
CPU压测
09
基于内存的HPA与泄漏模拟
内存阈值 · 内存泄漏场景 · 自动恢复
内存恢复
10
自定义指标扩缩容：Prometheus Adapter
Adapter安装 · 自定义指标暴露 · HPA配置
自定义Adapter
11
vLLM关键指标详解
QPS · 延迟(P50/P99) · GPU利用率 · 显存占用
指标监控
12
Prometheus监控vLLM + Grafana
metrics端点 · Prometheus配置 · 仪表盘
PrometheusGrafana
13
基于QPS的HPA实战
暴露QPS指标 · 配置HPA · 负载测试验证
QPSHPA
14
基于GPU利用率的HPA
DCGM Exporter · GPU指标采集 · HPA配置
GPUDCGM
15
基于请求延迟的HPA
延迟指标聚合 · 阈值设定 · 避免抖动
延迟稳定性
16
多指标组合HPA策略
CPU+内存+QPS+延迟 · 权重分配
组合策略
17
垂直自动扩缩容(VPA)与共存
VPA原理 · 安装 · 与HPA冲突处理
VPA垂直
18
Cluster Autoscaler 节点扩缩容
GPU节点池 · 成本优化 · 自动扩缩
CA节点
19
KEDA深度解析
KEDA架构 · ScaledObject · 与HPA对比
KEDA事件驱动
20
KEDA对接vLLM：Prometheus触发器
基于Prometheus指标 · 高级扩缩容策略
KEDA触发器
21
扩缩容策略调优
冷却时间 · 副本数限制 · 速率控制
调优参数
22
负载测试工具：Locust/Hey/wrk
安装与使用 · 模拟真实推理流量
压测工具
23
压测与调优实战
不同并发表现 · 参数调优 · 性能对比
实战对比
24
模型预热与冷启动优化
vLLM模型加载优化 · 预热请求 · 减少首次延迟
预热冷启动
25
GPU显存管理与OOM处理
vLLM显存分配 · K8s资源限制 · OOM恢复
显存OOM
26
多模型部署与路由
多个vLLM服务 · Ingress路由 · 版本管理
多模型路由
27
生产环境高可用设计
多副本 · 反亲和性 · 滚动更新
高可用生产
28
日志与告警：EFK + Alertmanager
日志收集 · 告警规则 · 通知渠道
日志告警
29
成本优化：Spot实例与GPU共享
Spot实例 · GPU共享 · 按需扩缩容 · 预算控制
成本Spot
30
综合实战：生产级平台搭建与复盘
从零搭建 · 完整项目复盘 · 最佳实践
综合复盘