01
稳定性建设总纲
可用性·延迟·吞吐量·一致性 · 预防-检测-响应-恢复-改进
生命周期核心指标
02
架构设计原则
主备/多活/单元化 · 无状态 · 异步解耦 · 限流降级熔断
高可用超时重试
03
容量规划与压测
全链路压测 · 数据隔离 · 水位线设定 · 指标分析
容量评估压测设计
04
代码质量保障
规范与Review · 单元/集成测试 · 防御性编程 · 灰度回滚
质量内建发布策略
05
配置管理
Apollo/Nacos · 变更审计 · 灰度发布 · 热加载 · 加密
配置中心安全
06
依赖管理
强弱依赖治理 · 线程池/连接池隔离 · 第三方降级
依赖分级隔离
07
数据库稳定性
连接池 · 慢查询 · 分库分表 · 读写分离 · 备份恢复
MySQL主从延迟
08
缓存稳定性
穿透/击穿/雪崩 · 一致性 · 容量规划 · 本地/分布式
Redis缓存策略
09
消息队列稳定性
可靠性 · 幂等性 · 堆积治理 · 顺序/事务消息
RocketMQKafka
10
分布式事务
CAP/BASE · TCC/Saga · Seata · 最终一致性
事务Seata
11
全链路监控
Metrics/Tracing/Logging · SkyWalking · Prometheus · 自定义埋点
可观测Grafana
12
告警体系
分级策略 · 规则设计 · 抑制聚合 · 通知渠道 · On-Call
告警值班
13
日志管理
规范分级 · Filebeat/Logstash · ES · Kibana · 采样
ELK日志分析
14
故障演练与混沌工程
ChaosBlade/Litmus · 网络延迟/节点宕机 · 演练复盘
混沌故障注入
15
应急预案
故障分级 · 应急响应 · 指挥体系 · 止血手段
响应降级
16
故障定位
5Why/鱼骨图 · CPU/内存/IO · JVM调优 · GC排查
根因分析性能
17
数据一致性保障
对账系统 · 差错处理 · 补偿任务 · 最终一致性校验
对账补偿
18
安全稳定性
防重放 · 防注入 · 脱敏 · 鉴权 · 漏洞扫描
安全合规
19
多活与容灾
同城双活 · 异地多活 · 数据同步 · 流量调度 · 切换演练
容灾高可用
20
变更管理
风险评估 · 窗口管理 · 审批流程 · 灰度策略 · 回滚
变更可控
21
发布管理
蓝绿/金丝雀 · 暂停回滚 · 观测指标 · 发布后验证
CI/CD发布
22
容量与成本
资源利用率 · 弹性伸缩 · Spot实例 · 成本监控
成本弹性
23
SLA管理
SLA/SLO/SLI · 计算方式 · 违约赔偿 · 持续改进
SLA承诺
24
稳定性文化建设
考核指标 · 事故复盘 · 红蓝对抗 · 周报/月报
文化复盘
25
自动化运维
自动部署/巡检/扩缩容/备份/故障自愈
AIOps自动化
26
压测平台建设
JMeter/Locust · 脚本管理 · 数据构造 · 报告生成
压测平台
27
流量回放
录制回放 · Diff工具 · 环境搭建 · 回归测试
回放回归
28
全链路灰度
标签透传 · 路由策略 · 环境隔离 · 观测评估
灰度全链路
29
稳定性度量
MTBF/MTTR · 评分卡 · 仪表盘 · 趋势分析 · 改进闭环
度量改进
30
案例复盘
连接池打满/缓存雪崩/消息堆积/全链路超时 · 根因改进
实战经验