01
vLLM与K8s概述
vLLM是什么 · Kubernetes核心概念 · 为什么在K8s上部署vLLM · 课程架构与目标
概念架构
02
环境准备
安装Docker · Minikube/Kind · kubectl与Helm · 验证K8s集群
工具集群
03
vLLM基础入门
安装配置 · 加载第一个模型 · 推理测试 · 理解API接口
推理API
04
Docker镜像制作
编写Dockerfile · 构建推送 · 优化镜像大小 · 安全扫描
容器镜像
05
K8s核心概念实战
Pod/Service/Deployment/Namespace · YAML编写 · kubectl管理
核心YAML
06
ConfigMap与Secret
管理配置文件 · 存储模型路径与API密钥 · 挂载配置 · 动态更新
配置安全
07
存储卷与持久化
EmptyDir/HostPath · PV/PVC · 挂载模型文件 · StatefulSet
存储持久化
08
Deployment部署vLLM
编写Deployment YAML · 资源请求限制 · 健康检查 · 滚动更新
部署探针
09
Service暴露服务
ClusterIP/NodePort/LoadBalancer · 创建Service · 测试连通性
网络Service
10
Ingress与域名访问
安装Ingress Controller · 配置规则 · HTTPS证书 · 路径重写
域名HTTPS
11
HPA自动扩缩容
HorizontalPodAutoscaler · CPU/Memory扩缩 · 自定义指标 · 弹性伸缩
弹性HPA
12
资源管理与限制
requests/limits · QoS等级 · LimitRange/ResourceQuota · 避免OOM
资源QoS
13
监控与日志
Prometheus/Grafana · 采集推理指标 · Pod日志 · Loki集中管理
监控日志
14
健康检查与自愈
Liveness/Readiness/Startup Probe · 模拟故障 · 重启策略
自愈探针
15
多模型部署
多个vLLM实例 · 模型路由隔离 · 不同GPU · 版本管理
多模型隔离
16
GPU资源管理
NVIDIA GPU Operator · 驱动与运行时 · 分配GPU · MIG/时间片
GPUMIG
17
网络策略与安全
NetworkPolicy · 限制Pod通信 · ServiceAccount/RBAC · 安全上下文
安全网络
18
Helm Chart打包
Helm基础 · 创建vLLM Chart · 模板化YAML · 发布Chart
Helm打包
19
CI/CD流水线
GitLab CI/GitHub Actions · 自动构建镜像 · 自动部署 · 回滚
CI/CD自动化
20
蓝绿部署与金丝雀发布
蓝绿原理 · K8s切换 · 金丝雀策略 · 流量权重
发布流量
21
服务网格集成
Istio基础 · Sidecar注入 · 流量管理 · 可观测性
服务网格Istio
22
批量推理任务
Job/CronJob · 批量处理 · 任务队列 · 失败重试
批处理Job
23
模型缓存与预热
InitContainer预热 · 持久化缓存 · 共享内存 · 减少冷启动
缓存预热
24
多集群部署
联邦集群 · 跨集群服务发现 · 全局负载均衡 · 灾备
多集群灾备
25
成本优化
Spot实例 · 节点自动缩放 · 资源超卖 · GPU利用率优化
成本Spot
26
故障排查实战
Pod启动失败 · CrashLoopBackOff · 网络不通 · GPU未找到
排障诊断
27
性能调优
vLLM参数调优 · K8s网络性能 · NUMA亲和性 · 内核参数
性能调优
28
安全加固
镜像漏洞扫描 · Pod安全策略 · 网络加密 · 审计日志 · 密钥轮换
安全加固
29
生产环境最佳实践
高可用架构 · 备份恢复 · 容量规划 · SLA · 运维手册
生产最佳实践
30
综合实训项目
设计推理服务平台 · 搭建K8s集群 · 部署多模型 · 监控告警 · 项目答辩
实训项目