01
课程导学与环境准备
vLLM与Kubernetes概述 · 课程目标 · 前置知识 · Minikube/Kind · kubectl与Helm安装
导学环境
02
Kubernetes核心概念速览
Pod · Deployment · Service · ConfigMap · Secret · Namespace · PV/PVC · Node与Cluster
概念基础
03
Docker与镜像构建
编写Dockerfile打包vLLM · 构建镜像 · 推送私有仓库 · 镜像拉取策略
Docker镜像
04
vLLM模型下载与管理
HuggingFace模型下载 · 模型存储至PV · InitContainer预热 · 模型版本管理
模型存储
05
编写第一个vLLM Deployment
Deployment YAML详解 · 资源请求与限制 · 环境变量 · 健康检查探针
DeploymentYAML
06
GPU资源调度
NVIDIA GPU Operator · 节点标签与污点 · resource limits · GPU共享与MIG
GPU调度
07
Service与网络暴露
ClusterIP · NodePort · LoadBalancer · Ingress · gRPC与RESTful API
网络Service
08
ConfigMap与Secret管理
模型配置外置 · API密钥管理 · 环境变量注入 · 挂载配置文件
配置安全
09
持久化存储
PV/PVC概念 · NFS/Ceph/Rook · 模型权重存储 · 日志持久化 · StatefulSet
存储PV
10
HPA自动扩缩容
基于CPU/Memory · 自定义指标(请求数/GPU) · VPA · Cluster Autoscaler
弹性HPA
11
Ingress与TLS
Ingress Controller(Nginx/Traefik) · HTTPS证书 · 域名绑定 · 路径重写
IngressTLS
12
监控与日志
Prometheus+Grafana · vLLM Metrics · Pod日志(Loki/EFK) · 告警规则
监控日志
13
Helm Chart打包
Chart目录结构 · values.yaml参数化 · 模板函数 · 依赖管理 · 发布仓库
Helm打包
14
多模型部署
多个Deployment共享GPU · 模型路由 · 基于请求头选择 · 模型热加载
多模型路由
15
性能调优
vLLM引擎参数 · 资源争抢 · NUMA亲和性 · gpu_memory_utilization
性能调优
16
安全加固
Pod安全策略(PSP/PSS) · NetworkPolicy · 镜像扫描 · RBAC权限
安全RBAC
17
CI/CD流水线
GitLab CI/GitHub Actions · 自动部署 · 滚动更新 · 回滚机制
CI/CD自动化
18
A/B测试与金丝雀发布
多版本Deployment · 流量分割 · Istio/Service Mesh · 灰度策略
金丝雀A/B
19
故障排查
CrashLoopBackOff · GPU设备插件 · OOM Killer · DNS解析
排障诊断
20
备份与恢复
etcd备份 · PV数据备份 · Velero · 灾难恢复演练
备份容灾
21
成本优化
Spot实例 · GPU资源超分 · Hibernation · 成本监控与预算
成本优化
22
多集群管理
Federation/Cluster API · 多集群Service · 全局负载均衡 · 模型同步
多集群联邦
23
边缘部署
K3s/Lightweight · 边缘缓存 · 离线推理 · 网络断连恢复
边缘K3s
24
Serverless推理
Knative Serving · 自动缩零 · 按需加载模型 · 冷启动优化
ServerlessKnative
25
模型量化与优化
AWQ/GPTQ · FP16/INT8 · vLLM量化支持 · 推理速度对比
量化优化
26
LoRA微调部署
LoRA权重加载 · 多适配器切换 · Base模型共享 · 推理时LoRA合并
LoRA微调
27
OpenAI兼容API
vLLM API Server · API Key鉴权 · Rate Limiting · 并发控制
API兼容
28
生产级架构设计
高可用 · 多AZ分布 · 流量管理 · 容量规划 · SLA保障
架构生产
29
实战项目：企业级LLM推理平台
需求分析 · 架构设计 · 部署实施 · 测试验收
实战项目
30
课程总结与进阶方向
知识体系回顾 · 常见误区 · 推荐资源 · 社区与生态展望
总结进阶