01
混沌工程概述
混沌工程的起源、核心原则(稳态假设、爆炸半径最小化等)、与传统测试的区别。
起源稳态假设爆炸半径
02
交易系统的脆弱性分析
核心组件(订单簿、撮合引擎、风控系统)、常见故障模式(网络延迟、数据不一致、雪崩效应)。
订单簿撮合引擎雪崩
03
混沌工程实验设计
假设驱动实验、实验对象选择(服务、数据库、网络)、实验计划制定。
假设驱动实验对象计划
04
实验环境搭建
生产环境 vs 预发环境、流量复制与隔离、监控与可观测性工具(Prometheus、Grafana、Jaeger)。
预发环境流量复制可观测性
05
故障注入技术
基础设施层(CPU/内存/磁盘/网络)、应用层(延迟、异常、超时)、数据层(慢查询、主从切换)。
CPU延迟慢查询
06
工具选型与实战
ChaosBlade、LitmusChaos、Gremlin 对比与选择,以 ChaosBlade 为例进行故障注入。
ChaosBladeLitmusGremlin
07
订单簿混沌实验
模拟订单簿写入延迟、订单丢失场景,验证撮合引擎的容错能力。
写入延迟订单丢失容错
08
撮合引擎混沌实验
模拟撮合引擎进程崩溃、消息队列积压,验证恢复机制与数据一致性。
进程崩溃队列积压一致性
09
风控系统混沌实验
模拟风控规则引擎超时、风控服务宕机,验证降级与熔断策略。
规则引擎宕机熔断
10
数据库混沌实验
模拟 MySQL 主从延迟、Redis 缓存雪崩,验证缓存穿透与数据库限流策略。
主从延迟缓存雪崩限流
11
网络混沌实验
模拟网络分区、丢包、带宽限制,验证交易系统的网络容错能力。
网络分区丢包带宽
12
消息队列混沌实验
模拟 Kafka/RocketMQ 节点宕机、消息重复消费,验证幂等性与重试机制。
KafkaRocketMQ幂等
13
微服务间调用混沌实验
模拟 RPC 调用超时、熔断,验证 Hystrix/Sentinel 的降级效果。
RPCHystrixSentinel
14
全链路压测与混沌实验结合
在全链路压测中注入故障,观察系统在高压下的表现。
全链路压测高压
15
实验观测与指标分析
关键指标(延迟、吞吐量、错误率、SLA)、通过 Grafana 仪表盘实时观测。
延迟吞吐量Grafana
16
实验自动化与平台化
使用 Pipeline(Jenkins/Argo)自动化执行混沌实验,构建混沌工程平台。
JenkinsArgo平台化
17
爆炸半径控制策略
实验范围限制(标签选择、命名空间隔离)、用户流量分流、灰度发布与蓝绿部署。
标签选择灰度发布蓝绿部署
18
实验报告与复盘
实验报告模板、如何分析根因、如何推动改进。
报告模板根因分析改进
19
混沌工程与 SRE 文化
混沌工程如何融入 SRE 的日常、故障演练与红蓝对抗。
SRE故障演练红蓝对抗
20
交易系统的 SLA 与混沌实验目标
定义 SLA(可用性、延迟 P99)、设计实验验证 SLA 边界。
SLAP99可用性
21
数据一致性验证
分布式事务(TCC、Saga)在混沌实验下的表现,如何验证最终一致性。
TCCSaga最终一致性
22
限流与降级策略验证
模拟突发流量,验证限流算法(令牌桶、漏桶)与降级策略的有效性。
令牌桶漏桶降级
23
缓存策略混沌实验
模拟 Redis 集群故障,验证多级缓存(本地缓存 + Redis + DB)的容错。
Redis多级缓存容错
24
安全与权限混沌实验
模拟权限校验服务故障、Token 失效,验证系统的安全降级策略。
权限校验Token安全降级
25
量化交易系统混沌实验
量化策略回测与实盘的一致性验证、行情数据延迟模拟。
量化策略回测行情延迟
26
支付清算系统混沌实验
模拟支付超时、清算对账失败,验证资金安全与补偿机制。
支付超时对账失败补偿
27
行情推送系统混沌实验
模拟 WebSocket 断连、行情数据乱序,验证客户端重连与数据校验。
WebSocket断连数据校验
28
风控规则引擎混沌实验
模拟规则引擎计算超时、规则加载失败,验证降级与兜底策略。
计算超时加载失败兜底
29
混沌工程成熟度模型
从手动实验到自动化平台、从单点到全链路、从故障注入到韧性工程。
成熟度自动化韧性工程
30
总结与展望
混沌工程的未来趋势(AI 驱动的混沌实验、混沌工程即服务)、如何持续提升系统韧性。
AI驱动CEaaS系统韧性