01
K8s与vLLM概述
K8s核心概念（Pod、Deployment、Service）· vLLM简介与优势· 为什么在K8s上部署vLLM· 课程目标与前置知识
概念入门
02
vLLM部署基础
vLLM镜像选择· 单Pod部署vLLM· 暴露服务（ClusterIP/NodePort）· 验证部署是否成功
部署实践
03
资源限制基础
K8s资源单位· Requests与Limits区别· QoS类别（Guaranteed/Burstable/BestEffort）· 资源限制重要性
核心QoS
04
vLLM内存模型
显存管理机制（KV Cache）· PagedAttention原理· 显存与内存关系· OOM场景分析
显存原理
05
CPU资源规划
vLLM的CPU使用模式· CPU Requests/Limits设置建议· CPU绑核（CPU Manager）配置
CPU规划
06
内存资源规划
内存占用分析（模型权重+KV Cache+Overhead）· 内存Requests/Limits计算· Swap与OOM Killer
内存OOM
07
显存资源规划
GPU显存分配策略· --gpu-memory-utilization参数· 显存预留与碎片管理
GPU显存
08
HPA自动扩缩容
HorizontalPodAutoscaler原理· 基于CPU/Memory的HPA· 基于自定义指标（vLLM请求数）的HPA
弹性HPA
09
VPA垂直扩缩容
VerticalPodAutoscaler原理· 更新模式（Auto/Off/Initial）· VPA与vLLM兼容性
VPA垂直
10
Cluster Autoscaler
节点自动扩缩容原理· 节点池配置· GPU节点扩缩容注意事项
节点CA
11
LimitRange与ResourceQuota
命名空间资源配额· LimitRange默认限制· 多租户资源隔离
配额多租户
12
Pod Priority与Preemption
优先级类定义· 抢占策略· 关键vLLM服务的优先级保障
优先级抢占
13
Node Affinity与Taints
节点选择器· 污点与容忍· GPU节点专用调度
调度GPU
14
Topology Manager
NUMA感知调度· CPU与GPU拓扑对齐· 性能优化场景
拓扑NUMA
15
vLLM批处理优化
动态批处理· 连续批处理· 批处理大小与资源的关系
批处理性能
16
vLLM量化与资源
量化方法（GPTQ/AWQ/FP8）· 量化对显存的影响· 量化对推理速度的影响
量化显存
17
vLLM分布式推理
张量并行· 流水线并行· 分布式资源分配
分布式并行
18
vLLM前缀缓存
自动前缀缓存· RadixAttention· 缓存对显存的影响
缓存加速
19
vLLM Speculative Decoding
推测解码原理· 草稿模型选择· 资源消耗分析
推测解码
20
监控与告警
Prometheus指标暴露· Grafana仪表盘· 关键指标（GPU/显存/延迟）
监控告警
21
日志与事件
K8s Events· Pod日志采集· vLLM日志级别与调试
日志调试
22
故障排查
Pod启动失败（CrashLoopBackOff）· OOMKilled· GPU不可用· 资源争抢
排障实战
23
性能基准测试
vLLM Benchmark工具· 吞吐量与延迟测试· 资源利用率分析
基准性能
24
成本优化
GPU实例选择（A100/H100/L40s）· 预留实例与Spot实例· 资源超分策略
成本GPU
25
安全最佳实践
Pod安全上下文· Seccomp/AppArmor配置· 镜像安全扫描
安全合规
26
多模型部署
多个vLLM实例共存· 模型路由（Ingress/Service Mesh）· 资源隔离策略
多模型路由
27
GPU共享技术
MIG（Multi-Instance GPU）· Time-Slicing· GPU Sharing框架（如Run:ai）
共享MIG
28
CI/CD集成
GitOps工作流· Helm Chart管理vLLM部署· 自动资源调整
CI/CDGitOps
29
生产环境案例
某公司vLLM on K8s实战· 资源限制踩坑记录· 优化前后对比
案例实战
30
总结与展望
课程核心要点回顾· vLLM与K8s生态未来趋势· 推荐学习资源
总结趋势