01
项目全景与架构设计
vLLM推理服务在K8s上的整体架构、组件介绍、技术选型分析。
架构全景
02
环境准备
K8s集群搭建（Minikube/Kubeadm）、GPU节点配置、NVIDIA驱动与CUDA安装。
集群GPU
03
容器运行时配置
Docker安装、NVIDIA Container Toolkit配置、GPU资源暴露验证。
运行时NVIDIA
04
vLLM镜像构建
编写Dockerfile、基于PyTorch基础镜像、集成vLLM库、多阶段构建优化。
Docker镜像
05
模型准备与存储
HuggingFace模型下载、模型格式转换（SafeTensors）、模型存储到NFS/MinIO。
模型存储
06
K8s Namespace与RBAC
创建专用命名空间、ServiceAccount配置、RBAC权限控制。
权限命名空间
07
ConfigMap与Secret管理
模型路径配置、API密钥管理、环境变量注入。
配置密钥
08
Deployment资源定义
编写Deployment YAML、副本数设置、滚动更新策略。
DeploymentYAML
09
GPU资源调度
NVIDIA GPU Operator安装、GPU资源声明（nvidia.com/gpu）、MIG配置。
GPU调度
10
Service与Ingress
ClusterIP/NodePort/LoadBalancer服务暴露、Ingress TLS配置。
网络Ingress
11
持久化存储（PVC/PV）
NFS Provisioner部署、PVC/PV绑定、模型数据持久化。
存储PVC
12
vLLM核心参数配置
模型加载参数、推理参数（max_num_seqs、gpu_memory_utilization）、调度策略。
vLLM调优
13
启动脚本与健康检查
编写vLLM启动脚本、Liveness/Readiness Probe配置、启动日志监控。
健康检查脚本
14
HPA自动扩缩容
基于CPU/GPU利用率的HPA配置、自定义Metrics Server部署。
HPA弹性
15
资源配额与限制
Namespace ResourceQuota、Pod LimitRange、GPU资源超分控制。
配额限制
16
日志收集
Fluentd/Logstash部署、日志输出到Elasticsearch、Kibana可视化。
日志ELK
17
监控告警
Prometheus Operator部署、GPU Metrics采集、Grafana仪表盘、Alertmanager告警规则。
监控告警
18
API网关集成
Kong/APISIX部署、请求路由、限流、鉴权。
网关限流
19
多模型管理
多个vLLM Deployment部署、模型版本控制、蓝绿部署策略。
多模型蓝绿
20
性能压测
Locust/Vegeta压测工具使用、QPS/TPS指标采集、GPU利用率分析。
压测性能
21
故障排查
Pod CrashLoopBackOff排查、OOM问题定位、GPU显存溢出处理。
排障OOM
22
安全加固
Pod Security Policy、网络策略（NetworkPolicy）、镜像扫描。
安全策略
23
CI/CD流水线
GitLab CI/GitHub Actions配置、自动构建镜像、自动部署到K8s。
CI/CD自动化
24
Helm Chart打包
编写Chart模板、values.yaml参数化、Chart发布到仓库。
Helm打包
25
多集群部署
KubeFed配置、跨集群服务发现、全局负载均衡。
多集群联邦
26
成本优化
Spot实例使用、GPU共享调度、推理缓存策略。
成本Spot
27
模型量化与加速
AWQ/GPTQ量化、FlashAttention优化、vLLM PagedAttention原理。
量化加速
28
生产级高可用
Pod Anti-Affinity、PDB配置、多AZ部署、故障转移。
高可用PDB
29
项目文档与运维手册
API文档生成、运维SOP编写、故障预案制定。
文档运维
30
项目总结与展望
最佳实践总结、K8s+vLLM未来趋势、LLM推理服务演进方向。
总结趋势