01
K8s与vLLM初识
什么是Kubernetes、什么是vLLM、为什么用K8s部署vLLM、课程目标与前置知识
概念入门
02
环境准备
安装Minikube、安装kubectl、安装Docker、验证环境
安装工具
03
K8s核心概念
Pod、Service、Deployment、Namespace、ConfigMap、Secret
核心理论
04
第一个Pod
编写YAML文件、创建Pod、查看Pod状态、进入Pod调试
实践Pod
05
Deployment实战
创建Deployment、副本数控制、滚动更新、回滚操作
部署更新
06
Service与网络
ClusterIP、NodePort、LoadBalancer、Ingress入门
网络Service
07
ConfigMap与Secret
管理配置、存储敏感信息、挂载到Pod
配置安全
08
存储卷
emptyDir、hostPath、PersistentVolume、PersistentVolumeClaim
存储PV/PVC
09
vLLM模型准备
下载模型、模型格式介绍、本地测试vLLM推理
模型vLLM
10
Docker镜像制作
编写Dockerfile、构建vLLM镜像、推送镜像到仓库
Docker镜像
11
vLLM Deployment编写
编写vLLM的Deployment YAML、资源限制、环境变量
vLLMYAML
12
vLLM Service配置
暴露vLLM API、端口配置、负载均衡策略
ServiceAPI
13
GPU支持
安装NVIDIA驱动、配置nvidia-docker、GPU资源调度
GPU调度
14
模型挂载
使用PVC挂载模型文件、ReadWriteMany场景、性能优化
存储模型
15
HPA自动扩缩
安装Metrics Server、配置HPA、压力测试
弹性HPA
16
健康检查
livenessProbe、readinessProbe、startupProbe配置
探针高可用
17
日志与监控
查看Pod日志、安装Prometheus、Grafana监控vLLM
监控日志
18
Ingress配置
安装Ingress Controller、配置域名访问、HTTPS证书
Ingress域名
19
多模型部署
命名空间隔离、多Deployment管理、资源配额
多模型隔离
20
模型热加载
vLLM模型热切换、优雅重启、零停机更新
热更新vLLM
21
性能调优
vLLM参数调优、K8s资源限制优化、网络延迟优化
性能调优
22
安全加固
RBAC权限控制、网络策略、镜像安全扫描
安全RBAC
23
备份与恢复
etcd备份、PVC快照、迁移方案
备份容灾
24
CI/CD集成
GitLab CI/CD、ArgoCD、自动化部署vLLM
CI/CD自动化
25
多集群部署
联邦集群、跨区域部署、流量调度
多集群联邦
26
故障排查
Pod CrashLoopBackOff、ImagePullBackOff、NodeNotReady
排错运维
27
成本优化
Spot实例、资源超卖、HPA策略优化
成本优化
28
生产环境最佳实践
高可用架构、灾备方案、SLA保障
生产最佳实践
29
实战项目一
搭建单机vLLM推理服务
项目实战
30
实战项目二
搭建生产级多模型推理平台
项目生产级