01
vLLM与K8s初识
vLLM是什么 · 为什么需要K8s · vLLM+K8s典型架构
概念架构
02
K8s核心概念速览
Pod · Service · Deployment · Namespace · ConfigMap · Secret
基础K8s
03
vLLM部署基础
Deployment部署vLLM · 暴露Service · 配置资源限制
部署实践
04
请求排队问题分析
高并发瓶颈 · 排队原因 · 排队对推理延迟的影响
性能分析
05
K8s HPA自动扩缩容
HorizontalPodAutoscaler原理 · CPU/Memory扩缩容 · 自定义指标
弹性HPA
06
vLLM内置排队机制
请求调度器 · 最大并发数控制 · 队列深度配置
排队vLLM
07
Ingress与流量分发
Ingress Controller选型 · 基于路径路由 · 权重流量分发
网络Ingress
08
Service Mesh与流量控制
Istio基础 · VirtualService · DestinationRule负载均衡
MeshIstio
09
自定义排队中间件
基于Redis请求队列 · 队列长度监控 · 超时与重试策略
中间件Redis
10
K8s Job与批处理排队
Job管理批量推理 · 并行度控制 · 队列与Job联动
批处理Job
11
KEDA与事件驱动扩缩容
KEDA简介 · 基于队列长度Scaling · vLLM与KEDA集成
KEDA事件驱动
12
Prometheus监控vLLM
vLLM指标暴露 · Prometheus配置 · Grafana仪表盘
监控Prometheus
13
请求排队指标监控
队列长度 · 等待时间 · 拒绝率 · 吞吐量监控
指标可观测
14
日志收集与分析
EFK/ELK栈搭建 · vLLM日志结构化 · 排队日志分析
日志EFK
15
告警规则配置
Prometheus Alertmanager · 排队超时告警 · 队列积压告警
告警Alertmanager
16
资源配额管理
Namespace ResourceQuota · LimitRange · Pod优先级与抢占
配额管理
17
节点亲和性与调度
NodeSelector · NodeAffinity · PodAffinity与反亲和性
调度亲和性
18
GPU资源管理
NVIDIA GPU Operator · GPU共享与隔离 · MIG配置
GPUNVIDIA
19
vLLM模型热加载
模型版本管理 · 无损热加载方案 · 排队中的模型切换
热加载模型
20
请求优先级队列
基于优先级调度 · 优先级与资源配额 · 公平调度策略
优先级调度
21
多租户隔离
Namespace隔离 · RBAC权限控制 · 租户级队列管理
多租户RBAC
22
蓝绿部署与金丝雀发布
Deployment策略 · 流量切换 · 排队中的灰度发布
发布蓝绿
23
Chaos Engineering测试
Chaos Mesh注入故障 · 排队系统韧性测试 · 恢复演练
混沌韧性
24
性能调优
vLLM参数调优 · K8s网络优化 · 存储性能优化
调优性能
25
成本优化
Spot实例使用 · Cluster Autoscaler · 按需扩缩容策略
成本Spot
26
安全最佳实践
镜像安全 · 网络策略 · Secret管理 · Pod安全上下文
安全最佳实践
27
多集群部署
联邦集群 · 跨集群流量调度 · 全局排队管理
多集群联邦
28
高可用架构
多副本部署 · 故障转移 · 数据一致性保障
高可用架构
29
CI/CD集成
GitOps流程 · Helm Chart管理 · 自动化测试与部署
CI/CDGitOps
30
综合实战案例
从零搭建vLLM排队系统 · 压测与调优 · 生产运维经验
实战综合