01
vLLM与K8s基础
vLLM简介 · K8s核心概念 · 为什么需要负载均衡 · vLLM+K8s架构概览
架构入门
02
环境准备
K8s集群搭建(Minikube/K3s) · GPU节点配置 · NVIDIA驱动与CUDA · vLLM镜像
环境GPU
03
vLLM单实例部署
创建Deployment · 配置Service · 暴露端口 · 验证推理服务
部署入门
04
K8s Service负载均衡原理
ClusterIP/NodePort/LoadBalancer对比 · 会话保持机制
网络Service
05
Ingress控制器部署
Nginx Ingress安装 · Ingress规则 · HTTPS证书 · 路径重写
Ingress安全
06
vLLM多副本部署
水平扩展(HPA) · 垂直扩展(VPA) · 手动扩缩容 · 显存规划
扩缩容HPA
07
ConfigMap与Secret管理
vLLM配置注入 · 模型路径挂载 · API密钥 · 环境变量
配置安全
08
持久化存储
PV/PVC概念 · NFS存储 · 模型文件共享 · 多副本加载优化
存储PV
09
K8s网络模型
CNI插件(Calico/Flannel) · Pod网络通信 · Service Mesh · 性能调优
网络CNI
10
负载均衡策略
轮询 · 最少连接 · IP哈希 · 自定义权重
负载均衡算法
11
会话亲和性
Session Affinity · Cookie保持 · 源IP保持 · 长连接处理
会话亲和性
12
健康检查与探针
存活探针 · 就绪探针 · 启动探针 · 自定义健康端点
探针高可用
13
资源限制与QoS
CPU/内存限制 · GPU资源管理 · QoS等级 · 超卖风险
资源QoS
14
HPA自动伸缩
基于CPU/Memory · 自定义指标 · 请求队列长度 · 稳定窗口
HPA自动伸缩
15
Pod亲和性与反亲和性
节点亲和性 · Pod间亲和性 · 拓扑分布 · GPU利用率优化
调度亲和性
16
蓝绿部署与滚动更新
滚动更新策略 · 蓝绿部署 · 金丝雀发布 · 回滚机制
发布更新
17
监控与告警
Prometheus+Grafana · vLLM指标(吞吐/延迟/显存) · 告警规则
监控告警
18
日志收集
EFK/ELK栈 · vLLM日志格式 · 结构化日志 · 持久化与轮转
日志EFK
19
流量管理
Istio服务网格 · 流量镜像 · 灰度发布 · 熔断与重试
服务网格Istio
20
安全加固
RBAC · Pod安全策略 · NetworkPolicy · 镜像安全扫描
安全RBAC
21
多模型管理
模型版本管理 · 热加载 · 模型路由 · 卸载策略
模型管理
22
GPU共享与隔离
MIG · Time-Slicing · GPU Operator · 显存动态分配
GPU共享
23
性能调优
vLLM批处理 · K8s内核参数 · 网络MTU · NUMA绑定
性能调优
24
故障排查
Pod启动失败 · Service不可达 · GPU异常 · OOM定位
排障运维
25
备份与恢复
etcd备份 · PV数据备份 · 模型文件备份 · 灾难恢复
备份容灾
26
多集群部署
KubeFed · 跨集群Service · 全局负载均衡 · 异地多活
多集群联邦
27
成本优化
Spot实例 · GPU利用率监控 · 自动缩容到零 · 预留/按需混合
成本Spot
28
CI/CD集成
GitOps(ArgoCD) · 自动化测试 · 模型部署流水线 · 回滚自动化
CI/CDGitOps
29
生产环境最佳实践
命名空间规划 · 标签规范 · 资源配额 · 审计日志
最佳实践生产
30
案例实战
某AI公司生产架构全解析 · 踩坑记录 · 性能对比 · 未来演进
实战案例