01
课程导学与环境概览
K8s与vLLM简介 · 课程目标 · 整体架构图
导学GPU
02
基础设施准备
GPU节点 · NVIDIA驱动 · kubeadm/minikube · Device Plugin
驱动集群
03
存储与网络基础
PVC/PV · Service/Ingress · ConfigMap/Secret
存储网络
04
vLLM镜像与模型准备
Docker镜像 · 模型下载/挂载 · 镜像仓库
镜像HuggingFace
05
第一个推理Pod
Deployment YAML · ClusterIP/NodePort · curl测试
Pod快速入门
06
生产化部署
多副本HPA · 资源限制 · GPU显存隔离
HPA生产
07
监控与日志
Prometheus/Grafana · EFK/PLG · vLLM Metrics
监控日志
08
高级特性与优化
PagedAttention · NUMA拓扑 · 模型量化
优化FP16
09
CI/CD与模型更新
GitOps ArgoCD · 滚动更新 · 模型热加载
CI/CDArgoCD
10
故障排查与最佳实践
OOM/GPU不可用 · 安全加固 · 成本优化
排障最佳实践
11
多模型推理服务
多模型实例 · 命名空间隔离 · Ingress路由
多模型路由
12
GPU共享与MIG
NVIDIA MIG · vLLM适配 · 资源利用率
MIG共享
13
推理服务API网关
Kong/APISIX · 限流鉴权 · 负载均衡
网关限流
14
模型缓存与加速
Triton前端 · vLLM后端 · 预热缓存
缓存Triton
15
混合云部署
KubeFed · 云上GPU实例 · 数据同步
混合云联邦
16
安全与合规
Pod安全上下文 · NetworkPolicy · Cosign
安全合规
17
成本管理
ResourceQuota · Kubecost · 自动缩容
成本配额
18
性能基准测试
vLLM Benchmark · Locust/k6 · 调优
性能压测
19
模型微调与推理联动
K8s Job微调 · 自动部署 · 版本对比
微调联动
20
边缘推理部署
K3s + vLLM · 边缘GPU · 离线推理
边缘K3s
21
多租户推理服务
Namespace隔离 · 资源配额 · 审计日志
多租户隔离
22
推理服务SLA保障
PDB · PriorityClass · 拓扑分布约束
SLA高可用
23
GPU虚拟化
vGPU/MxGPU · 虚拟化适配 · 性能开销
虚拟化vGPU
24
模型压缩与部署
知识蒸馏 · 剪枝 · GPTQ/AWQ
压缩量化
25
推理服务可观测性
OpenTelemetry · 自定义Metrics · 告警
可观测链路
26
A/B测试与金丝雀发布
Istio流量分割 · 多版本 · 灰度策略
金丝雀Istio
27
模型安全与防攻击
输入验证 · 速率限制 · 模型加密
安全防攻击
28
大规模集群管理
Cluster Autoscaler · GPU节点池 · Volcano/Kueue
大规模调度
29
合规与审计
MLflow溯源 · 审计日志 · 差分隐私
合规审计
30
课程总结与展望
生态趋势 · 学习资源 · 社区参与
总结展望