01
vLLM与K8s初识
vLLM是什么、为什么需要热加载、K8s在AI推理中的角色。
概念背景
02
环境准备
K8s集群搭建（Minikube/K3s）、GPU节点配置、NVIDIA驱动与CUDA安装。
基础设施GPU
03
vLLM镜像构建
Dockerfile编写、多阶段构建、镜像优化与推送至私有仓库。
容器CI
04
K8s核心概念回顾
Pod、Deployment、Service、ConfigMap、Secret。
基础K8s
05
vLLM基础部署
编写第一个Deployment YAML、暴露Service、验证推理接口。
部署实践
06
ConfigMap与模型配置
将模型路径、参数等配置外置化，实现配置热更新。
配置热更新
07
PersistentVolume与模型存储
使用PVC挂载模型文件，支持模型动态切换。
存储PVC
08
热加载原理剖析
vLLM的模型加载机制、API Server与Worker进程通信。
原理架构
09
滚动更新策略
利用K8s RollingUpdate实现模型无缝升级。
更新零停机
10
Readiness Probe与流量切换
自定义就绪探针，确保新模型就绪后再切流量。
探针流量
11
Sidecar模式实现热加载
在Pod内增加Sidecar容器，监听模型更新信号。
Sidecar热加载
12
基于ConfigMap的模型版本管理
通过ConfigMap版本号触发模型重载。
版本ConfigMap
13
基于Event的模型热加载
监听K8s Event，自动拉取新模型并加载。
事件驱动自动化
14
使用InitContainer预加载模型
加速Pod启动，减少首次推理延迟。
Init性能
15
HPA与弹性伸缩
根据GPU利用率或QPS自动扩缩vLLM实例。
HPA弹性
16
Ingress与流量分发
配置Ingress路由，实现多模型多版本灰度发布。
Ingress灰度
17
监控与日志
集成Prometheus + Grafana监控vLLM指标，采集推理日志。
监控可观测
18
故障排查
Pod CrashLoopBackOff、OOM、GPU内存泄漏等常见问题。
排障Debug
19
安全实践
Pod安全策略、网络策略、镜像扫描与签名。
安全合规
20
多模型管理
在一个K8s集群中部署多个vLLM服务，共享GPU资源。
多模型共享
21
模型缓存与预热
利用emptyDir或hostPath缓存模型，减少重复加载。
缓存加速
22
基于消息队列的异步热加载
使用Kafka/RabbitMQ触发模型更新任务。
MQ异步
23
Operator模式
编写vLLM Operator，自动化管理模型生命周期。
Operator自动化
24
A/B测试与金丝雀发布
结合Istio/Service Mesh实现流量比例分配。
A/B金丝雀
25
模型回滚机制
保存历史版本，一键回退到上一个稳定模型。
回滚容错
26
资源配额与限制
设置ResourceQuota和LimitRange，防止资源争抢。
配额资源
27
跨集群部署
使用Karmada/Federation实现多集群vLLM服务。
多集群联邦
28
成本优化
Spot实例、GPU共享、模型量化与vLLM优化参数调优。
成本调优
29
CI/CD集成
GitOps方式管理模型版本，ArgoCD自动同步部署。
GitOpsArgoCD
30
生产级最佳实践
总结架构、常见陷阱、性能调优与未来展望。
最佳实践总结