01
vLLM与K8s基础
vLLM架构概述 · K8s核心概念 · 部署模式 · 模型缓存价值与挑战
入门架构
02
K8s存储选型
PV/PVC基础 · StorageClass · 本地vs网络存储 · 性能对比
存储选型
03
模型缓存策略
全量vs增量缓存 · 预热机制 · 淘汰策略 · 一致性保证
缓存策略
04
vLLM缓存配置
缓存参数详解 · 目录设置 · 大小控制 · 持久化配置
配置vLLM
05
K8s StatefulSet部署
设计模式 · Headless Service · Pod标识 · 存储卷挂载
StatefulSet部署
06
节点亲和性调度
nodeSelector · 亲和性规则 · Pod间亲和性 · 拓扑分布约束
调度亲和性
07
GPU资源管理
GPU驱动/CUDA · NVIDIA device plugin · 共享与隔离 · MIG
GPU资源
08
缓存预热策略
启动脚本 · Init容器 · Sidecar模式 · 分布式预热
预热启动
09
持久化存储配置
NFS部署 · Ceph/Rook · JuiceFS · 本地SSD RAID
存储持久化
10
缓存性能监控
Prometheus指标 · Grafana面板 · 命中率监控 · IO延迟
监控性能
11
缓存故障恢复
Pod重启策略 · 数据恢复 · 存储故障 · 自动重建
故障恢复
12
多副本缓存同步
Leader选举 · 数据同步 · 一致性哈希 · 分布式锁
同步一致性
13
缓存安全加固
RBAC · Pod安全策略 · 网络策略 · 加密传输与存储
安全加固
14
成本优化策略
Spot实例 · 分层存储 · 自动扩缩容 · 资源预留
成本优化
15
CI/CD集成
GitOps · Helm Chart · 缓存版本管理 · 自动化测试
CI/CDDevOps
16
大规模集群实践
100+节点部署 · 缓存分片 · 性能调优 · 问题排查
大规模实战
17
vLLM版本升级
滚动升级 · 缓存兼容 · 回滚方案 · 灰度发布
升级版本
18
混合云缓存方案
公有云对象存储 · 边缘缓存 · 跨区域同步 · 数据本地化
混合云缓存
19
缓存监控告警
告警规则 · 级别定义 · 通知渠道 · 抑制与聚合
告警监控
20
性能基准测试
测试工具 · 场景设计 · 指标分析 · 优化前后对比
基准测试性能
21
日志与审计
日志采集 · 结构化日志 · 审计日志 · 存储与查询
日志审计
22
缓存数据备份
备份策略 · 增量备份 · 快照备份 · 异地备份
备份数据
23
资源配额管理
Namespace配额 · LimitRange · ResourceQuota · 优先级类
配额管理
24
网络优化
CNI插件 · 带宽保障 · 延迟优化 · DNS缓存
网络优化
25
缓存预热调度
CronJob · 事件驱动 · 按需预热 · 预测性预热
调度预热
26
多模型缓存管理
模型版本 · 缓存标签 · 缓存隔离 · 共享策略
多模型管理
27
故障自愈机制
Liveness/Readiness · PDB · 自动重启 · 健康检查
自愈高可用
28
缓存数据迁移
在线迁移 · 离线迁移 · 数据校验 · 迁移回滚
迁移数据
29
安全合规
数据加密 · 访问审计 · 合规要求 · 安全扫描
合规安全
30
最佳实践总结
架构设计原则 · 运维经验 · 常见误区 · 未来展望
总结最佳实践