01
课程导学与项目全景
vLLM推理框架简介 · K8s部署价值 · 项目架构图 · 学习路径规划
全景导学
02
环境准备
Docker/K8s集群搭建 · GPU驱动与CUDA · NVIDIA Container Toolkit
DockerGPU
03
vLLM基础入门
PagedAttention · Continuous Batching · 模型加载与推理测试 · 性能基准
推理基准
04
Docker镜像制作
CUDA基础镜像 · 安装依赖 · 模型打包 · 构建与推送
Dockerfile镜像
05
K8s核心概念速通
Pod · Deployment · Service · ConfigMap · Secret · PVC
核心对象速通
06
第一个vLLM Deployment
YAML结构 · 资源限制 · GPU调度 (nvidia.com/gpu)
DeploymentGPU
07
Service与网络暴露
ClusterIP · NodePort · LoadBalancer · Ingress · 域名绑定
网络Ingress
08
ConfigMap与Secret管理
配置外置 · API密钥 · 环境变量注入最佳实践
配置安全
09
持久化存储
NFS/云盘 · PVC/PV · ReadWriteMany / ReadWriteOnce
存储PVC
10
健康检查与就绪探针
Liveness · Readiness · Startup Probe · vLLM健康端点
探针高可用
11
水平自动伸缩 (HPA)
GPU利用率HPA · 自定义指标 · 扩缩容策略调优
HPA弹性
12
资源配额与限制
Namespace配额 · LimitRange · QoS (Guaranteed/Burstable/BestEffort)
配额QoS
13
日志与监控
Prometheus+Grafana · vLLM Metrics · GPU监控采集
监控Prometheus
14
多模型部署策略
单Pod多模型 · 多Deployment共享GPU · 模型热切换
多模型热切换
15
高级调度
节点亲和性 · 污点容忍 · GPU拓扑感知 · MIG配置
调度MIG
16
安全加固
Pod安全策略 · NetworkPolicy · 镜像扫描 · RBAC
安全RBAC
17
CI/CD流水线
GitLab CI/GitHub Actions · 镜像版本管理 · 自动部署
CI/CD自动化
18
灰度发布与回滚
滚动更新 · 蓝绿部署 · 金丝雀发布 · kubectl rollout
灰度回滚
19
性能压测与调优
Locust/Vegeta · vLLM参数调优 · K8s资源调整
压测调优
20
故障排查实战
CrashLoopBackOff · OOMKilled · GPU插件 · 网络不通
排障实战
21
多集群部署
联邦集群 · 多Region · 全局负载均衡 (GSLB)
多集群GSLB
22
成本优化
Spot实例 · GPU共享 · 自动缩容到零 · 预留/按需混合
成本Spot
23
模型版本管理
DVC/MLflow · 版本标签 · 模型回滚机制
版本MLflow
24
API网关集成
Kong/APISIX · 限流限速 · 认证鉴权 · 请求路由
网关限流
25
服务网格 (Service Mesh)
Istio · 流量管理 · 可观测性 · mTLS加密
IstiomTLS
26
备份与容灾
etcd备份 · PVC快照 · 跨集群备份 · 灾难恢复演练
容灾备份
27
合规与审计
审计日志 · 合规检查 · 数据脱敏 · 访问审计
合规审计
28
生产环境最佳实践
资源规划 · 部署检查清单 · 运维SOP · 应急预案
最佳实践SOP
29
项目实战：从零搭建推理平台
端到端演示 · 生产级推理平台搭建
实战端到端
30
课程总结与展望
技术趋势 · 社区动态 · 进阶学习路径
总结展望