01
vLLM初探
什么是vLLM · 为什么需要vLLM · 核心优势 · 与传统推理框架对比
概念对比
02
连续批处理原理
连续批处理 · 动态vs静态batching · PagedAttention · KV Cache管理
机制核心
03
vLLM架构解析
整体架构 · Scheduler · Block Manager · Worker · Engine
架构模块
04
vLLM安装与部署
环境要求 · pip安装 · 源码编译 · Docker部署 · 验证安装
部署入门
05
vLLM基础使用
加载模型 · 文本生成 · 流式输出 · 参数调优 (temperature, top_p, max_tokens)
推理调参
06
vLLM性能基准测试
吞吐量 · 延迟 · 并发测试 · 性能指标解读
基准指标
07
Kubernetes基础回顾
Pod · Deployment · Service · Ingress · ConfigMap · Secret
K8s基础
08
K8s集群规划
节点规格 · GPU节点 · NVIDIA驱动 · Container Runtime
规划GPU
09
GPU Operator部署
安装NVIDIA GPU Operator · 验证GPU可调度 · 配置MIG
OperatorMIG
10
vLLM Docker镜像制作
编写Dockerfile · 优化镜像大小 · 多阶段构建 · 镜像推送
镜像Docker
11
vLLM Deployment编写
YAML结构 · 资源请求/限制 · GPU声明 · 环境变量
DeploymentYAML
12
Service与Ingress配置
ClusterIP · NodePort · Ingress路由 · HTTPS配置
网络Ingress
13
ConfigMap管理配置
模型路径 · 推理参数 · 日志级别 · 热更新机制
配置ConfigMap
14
持久化存储
PV/PVC概念 · NFS存储 · 模型权重挂载 · 数据持久化
存储PV/PVC
15
HPA自动扩缩容
基于CPU/Memory · 自定义指标 · 扩缩容策略调优
HPA弹性
16
Cluster Autoscaler
节点自动扩缩容 · 节点池 · 冷却时间 · 成本优化
CA节点
17
vLLM性能监控
Prometheus指标 · Grafana仪表盘 · TTFT · TPOT · 吞吐量
监控Grafana
18
日志收集
Fluentd · Elasticsearch · Kibana · 日志分析
日志EFK
19
健康检查
Liveness · Readiness · Startup Probe · 自定义端点
探针可用性
20
资源隔离
Namespace隔离 · ResourceQuota · LimitRange · 优先级与抢占
隔离配额
21
安全配置
Pod安全策略 · 网络策略 · Secrets管理 · 镜像安全扫描
安全策略
22
多模型部署
多个vLLM实例 · 模型路由 · 负载均衡 · 灰度发布
多模型路由
23
模型热加载
动态加载 · 版本管理 · 蓝绿部署 · 滚动更新
热加载更新
24
故障排查
CrashLoopBackOff · OOMKilled · GPU内存不足 · 网络超时
排障诊断
25
性能调优
vLLM参数 (block_size, max_num_seqs) · K8s资源 · 内核参数
调优性能
26
成本优化
Spot实例 · 预留实例 · 资源超卖 · 成本监控
成本Spot
27
多集群部署
联邦集群 · 跨集群调度 · 全局负载均衡 · 灾备
多集群灾备
28
CI/CD集成
GitOps · ArgoCD · 自动化测试 · 回滚策略
CI/CDGitOps
29
生产环境最佳实践
架构设计 · 容量规划 · SLA保障 · 应急预案
最佳实践生产
30
案例实战
某AI公司vLLM推理平台K8s化改造全流程复盘
案例复盘