01
故障排查总纲
架构概览 · 常见故障分类 · 黄金三原则 · 排查工具链
总纲方法论
02
网络层故障
延迟丢包 · TCP连接池耗尽 · DNS异常 · 防火墙误拦截
网络TCP
03
数据一致性故障
分布式事务超时 · 主从同步延迟 · 缓存不一致 · 消息重复消费
一致性分布式
04
节点间通信故障
RPC超时重试 · gRPC异常 · 序列化失败 · 心跳失效
通信RPC
05
资源瓶颈故障
CPU飙高 · 内存溢出GC · 磁盘I/O · 文件句柄泄漏
性能资源
06
配置与版本故障
配置中心推送失败 · 灰度策略 · 版本兼容 · 环境差异
配置版本
07
安全与权限故障
认证鉴权失败 · SSL/TLS异常 · API密钥泄漏 · 越权访问
安全权限
08
日志与监控故障
日志丢失轮转 · 告警误报 · 链路追踪断裂 · 采集延迟
监控日志
09
容器化环境故障
Pod重启 · Sidecar异常 · 存储卷挂载失败 · 资源配额不足
K8s容器
10
数据库集群故障
主从脑裂 · 连接池打满 · 死锁 · 慢SQL拖垮集群
数据库集群
11
消息中间件故障
Kafka选举 · RocketMQ堆积 · RabbitMQ风暴 · 消息丢失
MQ消息
12
缓存中间件故障
大Key热Key · 雪崩穿透 · 分片不均 · 持久化阻塞
Redis缓存
13
负载均衡故障
Nginx配置错误 · 健康检查失效 · 会话保持 · 权重不合理
负载均衡Nginx
14
网关层故障
限流熔断异常 · 路由规则错误 · 请求头丢失 · 跨域问题
网关限流
15
定时任务故障
分布式锁失效 · 任务重复执行 · Cron错误 · 超时未释放
定时任务调度
16
文件存储故障
分布式文件系统宕机 · 权限错误 · 磁盘空间 · 句柄泄漏
存储文件
17
服务注册与发现故障
Consul/Etcd脑裂 · 心跳过期 · 负载策略失效 · 元数据不一致
注册中心服务发现
18
CI/CD流水线故障
构建环境不一致 · 制品仓库损坏 · 部署脚本错误 · 回滚失败
CI/CDDevOps
19
性能压测故障
压测工具瓶颈 · 线程模型错误 · 连接池参数 · 响应时间过长
压测性能
20
应急预案与复盘
故障分级 · 降级限流熔断 · 5Why根因 · 故障报告
应急复盘
21
全链路压测故障
压测数据隔离 · 流量染色失败 · Mock异常 · 结果失真
全链路压测
22
多活架构故障
异地双活数据冲突 · 全局ID异常 · 流量调度 · 跨机房延迟
多活高可用
23
安全攻击故障
DDoS识别清洗 · SQL注入XSS · 中间人攻击 · 暴力破解
安全攻击
24
第三方依赖故障
外部API超时重试 · SDK兼容 · 服务降级 · 回调失效
第三方依赖
25
自动化运维故障
Ansible执行失败 · 堡垒机异常 · 脚本权限 · 配置漂移
自动化运维
26
大数据组件故障
HDFS NameNode宕机 · Spark OOM · Flink Checkpoint失败 · Kafka Lag
大数据Hadoop
27
微服务治理故障
Hystrix/Sentinel规则冲突 · 流量劫持 · API版本混乱 · 契约测试失败
微服务治理
28
合规与审计故障
数据脱敏失效 · 审计日志缺失 · 合规误判 · 跨境传输违规
合规审计
29
混沌工程故障
爆炸半径过大 · 实验对象错误 · 监控盲区 · 恢复策略失效
混沌稳定性
30
综合实战演练
模拟完整故障 · 告警到根因 · 止损到复盘 · 输出报告
实战综合