第1章
vLLM与K8s初识
什么是vLLM · 为什么需要K8s · vLLM在K8s上的优势 · 课程目标与前置知识
概念入门
第2章
环境准备
安装kubectl · 安装minikube · 启动本地K8s集群 · 验证集群状态
工具安装
第3章
Docker基础回顾
Dockerfile编写 · 构建vLLM镜像 · 推送镜像到仓库 · 镜像优化技巧
容器镜像
第4章
K8s核心概念
Pod · Deployment · Service · ConfigMap · Secret · Namespace
基础对象
第5章
第一个vLLM Pod
编写Pod YAML · 运行vLLM推理服务 · 查看Pod日志 · 进入Pod调试
实践Pod
第6章
Deployment部署
创建Deployment · 副本数管理 · 滚动更新策略 · 回滚操作
部署更新
第7章
Service暴露服务
ClusterIP · NodePort · LoadBalancer类型 · 访问vLLM API
网络服务
第8章
ConfigMap配置管理
分离配置文件 · 挂载ConfigMap · 动态更新配置
配置挂载
第9章
Secret管理敏感信息
创建Secret · 挂载API Key · 使用环境变量注入
安全密钥
第10章
存储卷与数据持久化
EmptyDir · HostPath · PVC/PV · 模型文件挂载
存储持久化
第11章
资源限制与请求
CPU/内存设置 · GPU资源管理 · LimitRange · ResourceQuota
资源配额
第12章
命名空间与多租户
创建Namespace · 资源隔离 · RBAC权限控制
多租户隔离
第13章
健康检查
存活探针 · 就绪探针 · 启动探针 · 配置vLLM健康端点
探针高可用
第14章
水平自动伸缩
HPA配置 · 基于CPU/内存的伸缩 · 自定义指标伸缩
弹性HPA
第15章
Ingress与域名访问
安装Ingress Controller · 配置Ingress规则 · HTTPS证书
入口域名
第16章
日志收集
kubectl logs · Sidecar模式 · EFK/ELK栈集成
日志监控
第17章
监控与告警
Prometheus集成 · Grafana仪表盘 · vLLM指标暴露
监控告警
第18章
GPU调度
NVIDIA GPU Operator · GPU节点选择 · MIG配置
GPU调度
第19章
多模型管理
多个Deployment部署不同模型 · 服务路由 · 模型版本控制
模型路由
第20章
批处理推理
Job与CronJob · 批量推理任务 · 结果收集
批处理Job
第21章
网络策略
NetworkPolicy配置 · 限制Pod间通信 · 安全加固
网络安全
第22章
Helm包管理
安装Helm · 编写Chart · 部署vLLM Helm包
Helm包管理
第23章
CI/CD集成
GitLab CI/GitHub Actions · 自动构建部署 · 镜像更新
CI/CD自动化
第24章
性能调优
vLLM参数优化 · K8s资源调整 · 内核参数优化
性能调优
第25章
故障排查
Pod CrashLoopBackOff · ImagePullBackOff · OOMKilled处理
排错诊断
第26章
备份与恢复
etcd备份 · PVC快照 · 迁移策略
备份容灾
第27章
多集群部署
联邦集群 · 跨区域部署 · 流量分发
多集群联邦
第28章
安全最佳实践
镜像扫描 · Pod安全策略 · 网络加密
安全最佳实践
第29章
成本优化
Spot实例 · 节点自动缩放 · 资源超卖
成本优化
第30章
生产级部署
高可用架构 · 蓝绿部署 · 金丝雀发布 · 总结与展望
生产高可用