流程自动化故障诊断与排查实战 · 课程目录

故障诊断概述

自动化流程故障的定义、分类与影响，故障诊断的通用方法论。

日志系统基础

日志级别(DEBUG/INFO/WARN/ERROR)、格式规范、集中式日志收集(ELK/Loki)。

常见故障类型

网络超时、服务宕机、数据不一致、资源耗尽(CPU/内存/磁盘)。

故障排查工具链

Linux常用命令(top/df/curl)、网络诊断(ping/telnet/traceroute)、进程管理(ps/systemctl)。

监控告警体系

Prometheus + Grafana 搭建、告警规则配置、告警收敛与降噪。

链路追踪技术

OpenTelemetry 原理、Jaeger/Zipkin 部署、Trace ID 与 Span 分析。

数据库故障排查

慢查询分析(EXPLAIN)、连接池耗尽、死锁检测与处理。

API 接口故障

HTTP 状态码解读、超时设置、重试机制与幂等性设计。

消息队列故障

消息堆积、消费延迟、死信队列处理、Kafka/RabbitMQ 常见问题。

容器化环境故障

Docker 日志查看、容器资源限制、Kubernetes Pod 状态诊断。

脚本与代码故障

Python 异常处理、日志埋点、断言与防御性编程。

配置管理故障

配置中心(Apollo/Nacos)问题、环境变量冲突、配置热更新失效。

权限与安全故障

认证失败、授权不足、SSL/TLS 证书问题、防火墙规则排查。

定时任务故障

Cron 表达式错误、任务超时、并发冲突、调度器(XXL-Job/Airflow)问题。

文件传输故障

SFTP/SCP 连接失败、文件锁、磁盘空间不足、传输中断处理。

第三方依赖故障

外部 API 限流、SDK 版本兼容、依赖服务降级与熔断。

性能瓶颈分析

CPU 飙高排查、内存泄漏检测、IO 等待优化、GC 日志分析。

故障模拟与演练

混沌工程原则、Chaos Monkey 实践、故障注入工具(Litmus)。

自动化诊断脚本

Python 编写健康检查脚本、自动重启机制、告警自愈(Auto-Healing)。

知识库建设

故障文档模板、Root Cause 分析(RCA)报告、经验沉淀与分享。

AI 辅助诊断

异常检测算法(孤立森林/LOF)、日志聚类、智能告警关联分析。

分布式事务故障

TCC/Saga 模式问题、最终一致性补偿、事务日志追踪。

Redis 缓存穿透/击穿/雪崩、缓存一致性、热点 Key 处理。

负载均衡故障

Nginx/HAProxy 配置错误、健康检查失效、会话保持问题。

DNS 与网络故障

DNS 解析延迟、CDN 回源失败、网络分区与脑裂。

备份与恢复故障

备份失败原因、增量备份差异、恢复演练与验证。

版本发布故障

灰度发布问题、回滚策略、蓝绿部署切换故障。

合规与审计故障

日志审计缺失、数据脱敏问题、合规检查失败。

综合案例一

电商订单流程故障排查（从下单到支付全链路）。

综合案例二

数据同步管道故障排查（从数据库到数据仓库）。