01
vLLM与K8s集成入门：课程概述
vLLM简介与核心优势 · Kubernetes基础概念回顾 · 为什么要在K8s上部署vLLM · 课程目标与前置知识
概述动机
02
环境准备
安装Docker · 配置镜像加速 · 安装Minikube/Kind · 安装kubectl · 验证集群状态
DockerMinikube
03
vLLM镜像构建
编写Dockerfile · 选择基础镜像 · 安装vLLM依赖 · 配置入口脚本 · 构建并推送镜像
Dockerfile镜像
04
K8s核心概念
Pod · Deployment · Service · ConfigMap · Secret · Namespace · PV/PVC 基本概念与关系
PodDeployment
05
编写第一个Deployment
创建vLLM Deployment YAML · 配置容器镜像与端口 · 设置资源请求与限制 · kubectl apply · 查看Pod状态
YAML部署
06
暴露服务
创建Service YAML · ClusterIP/NodePort/LoadBalancer · 端口映射 · 访问vLLM API · 测试推理接口
ServiceNodePort
07
GPU资源管理
安装NVIDIA GPU Operator · RuntimeClass · Pod请求GPU · 验证GPU可用性 · 常见问题排查
GPUOperator
08
ConfigMap与Secret管理
创建ConfigMap存储模型路径 · Secret存储API密钥 · 挂载配置 · 热更新配置
ConfigMapSecret
09
持久化存储
创建PV与PVC · 挂载模型文件 · HostPath与NFS · 配置模型缓存 · 验证加载
PVPVC
10
水平自动伸缩（HPA）
安装Metrics Server · CPU/GPU指标HPA · 自定义指标 · 测试扩缩容 · 调整策略
HPA自动伸缩
11
Ingress与域名访问
安装Ingress Controller · 创建Ingress规则 · TLS证书 · 域名访问vLLM · 路径重写与限流
IngressTLS
12
健康检查与就绪探针
livenessProbe · readinessProbe · HTTP检测vLLM · 启动延迟与超时 · 模拟故障测试
探针健康检查
13
资源配额与限制
ResourceQuota · LimitRange · 命名空间资源限制 · 防止资源争抢 · 监控配额
配额LimitRange
14
日志与监控
kubectl logs · EFK/ELK日志收集 · Prometheus监控vLLM · Grafana仪表盘 · 告警规则
监控Prometheus
15
多模型部署
多个Deployment部署不同模型 · Service区分模型 · 模型路由 · 共享GPU · 版本管理
多模型路由
16
模型热加载与更新
滚动更新 · 就绪探针平滑切换 · 回滚 · InitContainer预加载 · 零停机更新
滚动更新热加载
17
批处理与并发控制
max_num_batched_tokens · 调度策略 · HPA应对突发 · 限制最大并发 · 性能调优
批处理并发
18
安全最佳实践
Pod安全策略(PSP/PSS) · NetworkPolicy · 限制容器权限 · 镜像漏洞扫描 · RBAC
安全RBAC
19
多集群部署
KubeFed · 跨集群服务发现 · 全局负载均衡 · 灾备高可用 · 模型同步
多集群KubeFed
20
CI/CD集成
GitLab CI/GitHub Actions · 自动构建镜像 · 自动部署K8s · 单元测试 · 回滚机制
CI/CD流水线
21
成本优化
Spot实例 · Pod优先级与抢占 · 调整资源请求 · Cluster Autoscaler · 成本监控
成本Spot
22
故障排查
Pod启动失败 · CrashLoopBackOff · OOMKilled · GPU未找到 · 网络不通排查
故障排查
23
性能基准测试
vLLM benchmark · 不同并发吞吐量 · GPU型号对比 · 模型并行优化 · 基线数据
基准测试性能
24
模型量化与优化
AWQ/GPTQ量化 · vLLM量化参数 · 量化后性能与精度 · 部署量化模型 · 速度与质量权衡
量化AWQ
25
服务网格集成
安装Istio/Linkerd · 流量管理 · 灰度发布 · 熔断与重试 · 调用链观测
服务网格Istio
26
边缘部署
K3s/KubeEdge · 边缘-云端协同 · 模型大小优化 · 离线推理 · 边缘设备管理
边缘K3s
27
Serverless部署
Knative部署vLLM · 自动缩容到零 · 冷启动优化 · 按需付费 · 事件驱动推理
ServerlessKnative
28
联邦学习与隐私
K8s部署联邦学习框架 · 安全聚合 · 差分隐私 · 模型加密传输 · 合规性检查
联邦学习隐私
29
生产环境案例
某公司vLLM+K8s生产架构 · 日均百万请求挑战 · 高可用设计 · 故障恢复演练 · 运维经验
案例生产
30
课程总结与展望
回顾核心知识点 · 常见误区 · vLLM与K8s生态趋势 · 推荐资源 · 结业项目建议
总结展望