01
K8s节点故障概述
节点故障类型（硬件、软件、网络）· 故障对vLLM推理的影响 · 故障检测机制
硬件软件网络
02
Pod驱逐机制
节点压力驱逐 · 污点与容忍度 · PodDisruptionBudget · 优雅终止时间设置
驱逐PDB容忍度
03
vLLM推理高可用架构
多副本部署 · 主从架构 · 负载均衡策略 · 健康检查配置
高可用负载均衡健康检查
04
GPU节点故障处理
GPU显存错误检测 · NVIDIA驱动故障恢复 · MIG配置故障 · GPU算子故障定位
GPU显存MIG
05
网络故障与推理中断
CNI插件故障 · Service负载均衡失效 · Ingress故障 · DNS解析问题
CNIIngressDNS
06
存储故障与模型加载
PV/PVC故障 · 分布式存储故障 · 模型缓存损坏 · 镜像拉取失败
PV/PVC缓存镜像
07
节点资源争抢
CPU throttling · 内存OOM · GPU显存溢出 · 磁盘IO瓶颈
CPUOOMIO
08
vLLM推理性能劣化
批处理大小调整 · KV Cache优化 · 连续批处理故障 · 前缀缓存失效
批处理KV Cache前缀缓存
09
故障自愈与自动化
Operator自动恢复 · 自定义控制器 · 故障注入测试 · 混沌工程实践
Operator混沌工程自愈
10
监控与告警体系
Prometheus指标采集 · Grafana看板设计 · 告警规则配置 · 日志聚合分析
PrometheusGrafana告警
11
节点故障模拟与演练
Chaos Mesh使用 · LitmusChaos实践 · 故障注入场景设计 · 恢复验证流程
Chaos MeshLitmus演练
12
多集群故障转移
集群联邦 · 跨集群调度 · 全局负载均衡 · 数据同步策略
联邦跨集群负载均衡
13
GPU虚拟化故障
vGPU配置错误 · GPU Sharing冲突 · GPU Partition故障 · MIG实例异常
vGPUMIG分区
14
推理请求超时处理
超时策略配置 · 重试机制设计 · 熔断降级 · 请求队列管理
超时重试熔断
15
模型版本管理故障
模型版本回滚 · 蓝绿部署故障 · 金丝雀发布问题 · A/B测试异常
蓝绿部署金丝雀回滚
16
节点维护与升级
节点池管理 · 滚动升级策略 · 节点排空操作 · 内核升级风险
节点池滚动升级排空
17
安全与权限故障
RBAC配置错误 · Pod安全策略 · 网络策略限制 · 密钥管理问题
RBAC安全策略密钥
18
日志与调试技巧
kubectl debug使用 · 临时容器调试 · 节点日志采集 · 核心转储分析
debug临时容器核心转储
19
资源配额管理
Namespace配额 · LimitRange配置 · ResourceQuota冲突 · 优先级类设置
配额LimitRange优先级
20
节点自动扩缩容
Cluster Autoscaler配置 · 节点组策略 · 扩缩容延迟优化 · 竞价实例中断
CA竞价实例扩缩容
21
推理服务冷启动优化
模型预热 · 缓存预热 · Pod初始化钩子 · 就绪探针优化
预热就绪探针初始化
22
节点亲和性与反亲和性
节点选择器 · 节点亲和性规则 · Pod间亲和性 · 拓扑分布约束
亲和性反亲和性拓扑
23
持久化存储故障恢复
本地存储故障 · NFS故障 · Ceph故障 · CSI插件问题
NFSCephCSI
24
推理结果一致性保证
幂等性设计 · 请求去重 · 结果校验 · 数据一致性检查
幂等去重一致性
25
节点故障通知与协同
事件通知机制 · Webhook配置 · Slack/钉钉集成 · 值班系统对接
Webhook钉钉值班
26
成本优化与故障权衡
预留实例策略 · Spot实例管理 · GPU利用率优化 · 故障成本计算
预留实例Spot成本
27
合规与审计
审计日志配置 · 合规检查 · 安全扫描 · 故障追溯
审计合规安全扫描
28
边缘节点故障处理
边缘K8s集群 · 离线推理模式 · 本地缓存策略 · 网络断连恢复
边缘离线本地缓存
29
大规模集群故障管理
节点分组管理 · 故障域隔离 · 滚动故障处理 · 容量规划
分组故障域容量规划
30
实战案例复盘
某大模型推理平台故障复盘 · 故障时间线 · 根因分析 · 改进措施
复盘根因分析改进