vLLM容器镜像K8s部署 · 零基础入门

📚 共计 30 章节
01
课程导学与前置准备
课程目标、学习路径、前置知识(Docker基础、Linux基础)、实验环境准备
导学环境
02
初识vLLM
vLLM是什么、为什么需要vLLM(对比HF Transformers)、核心优势
概念PagedAttention
03
Docker基础回顾
Docker安装、Dockerfile编写入门、常用命令
Docker命令
04
vLLM官方镜像初探
拉取官方镜像、运行第一个容器、验证服务
镜像验证
05
定制化vLLM镜像
编写Dockerfile、选择基础镜像、安装依赖、复制模型、启动入口
Dockerfile定制
06
镜像构建与优化
docker build、多阶段构建、.dockerignore
构建优化
07
镜像仓库管理
搭建私有仓库(Harbor/Docker Registry)、推送与拉取
仓库Harbor
08
Kubernetes核心概念
Pod、Deployment、Service、Namespace、ConfigMap、Secret
K8s概念
09
搭建K8s实验环境
Minikube/Kind、kubectl安装配置、验证集群
Minikube集群
10
K8s YAML文件入门
YAML语法、第一个Pod YAML、kubectl apply
YAML部署
11
部署vLLM到K8s(上)
Deployment YAML、容器镜像与端口、资源请求与限制
Deployment资源
12
部署vLLM到K8s(下)
Service YAML (ClusterIP/NodePort)、暴露服务、外部访问
Service网络
13
ConfigMap与Secret管理
管理启动参数、API密钥、模型路径
ConfigMapSecret
14
持久化存储
PV/PVC、挂载模型文件、HostPath/NFS
存储PV
15
健康检查与就绪探针
livenessProbe、readinessProbe、高可用
探针健康
16
水平自动伸缩(HPA)
Metrics Server、基于CPU/内存自动扩缩
HPA弹性
17
Ingress与域名访问
Nginx Ingress Controller、Ingress规则、域名访问
Ingress域名
18
日志与监控
kubectl logs、Prometheus + Grafana
监控Prometheus
19
GPU资源管理
NVIDIA GPU Operator、Pod使用GPU、利用率验证
GPUOperator
20
多模型部署策略
多个Deployment、Service Selector路由
多模型路由
21
模型热加载与更新
滚动更新、kubectl set image、零停机
滚动更新热加载
22
资源配额与限制
ResourceQuota、LimitRange、防止资源争抢
配额限制
23
网络策略
NetworkPolicy、入站/出站流量控制、安全
网络策略安全
24
备份与恢复
备份配置/模型、Velero、灾难恢复
备份Velero
25
CI/CD集成
GitLab CI / GitHub Actions、自动构建部署
CI/CD自动化
26
Helm包管理
Helm基础、编写vLLM Chart、部署升级
HelmChart
27
生产环境最佳实践
多副本、反亲和性、PodDisruptionBudget
生产高可用
28
故障排查实战
CrashLoopBackOff、OOMKilled、GPU显存不足
排障实战
29
性能调优
批处理大小、网络性能、NUMA绑定
调优性能
30
课程总结与进阶方向
核心知识点回顾、学习资源、未来趋势
总结进阶