01
故障恢复概述
为什么低延迟交易系统需要故障恢复？核心指标RTO与RPO的定义，故障恢复的黄金法则。
RTORPO黄金法则
02
系统架构冗余
从单点到多活，Active-Active与Active-Standby架构对比，脑裂问题及解决方案。
多活脑裂高可用
03
网络层容错
BGP多路径、链路聚合、SDN快速重路由，网络抖动下的保活机制。
BGPSDN保活
04
硬件层故障处理
服务器宕机、网卡失效、磁盘故障的检测与自动切换，IPMI与BMC监控。
IPMIBMC自动切换
05
操作系统层恢复
内核Panic处理、OOM Killer应对、系统日志快速定位，kdump与crash工具实战。
kdumpOOMcrash
06
进程级守护
Supervisor与systemd配置，看门狗机制，进程自愈与优雅重启。
systemd看门狗自愈
07
内存数据恢复
共享内存与内存数据库的持久化策略，Redis AOF/RDB在交易场景下的取舍。
AOFRDB持久化
08
磁盘数据一致性
RAID级别选择、文件系统日志（XFS/Ext4）、写屏障与掉电保护。
RAIDXFS写屏障
09
数据库高可用
MySQL MGR与Galera集群，PostgreSQL流复制，交易订单库的故障切换。
MGR流复制切换
10
消息队列容错
Kafka ISR机制、RabbitMQ镜像队列、Pulsar BookKeeper的快速恢复。
ISR镜像队列BookKeeper
11
交易网关双活
FIX协议网关的Session恢复，序列号同步，会话重建与重连策略。
FIXSession重连
12
订单状态机恢复
订单状态持久化，幂等性设计，异常订单的补偿与回滚。
幂等补偿回滚
13
行情数据恢复
行情快照与增量恢复，多源行情校验，行情断线重连与补发。
快照多源补发
14
风控规则同步
风控参数热加载，规则引擎状态备份，风控降级与熔断。
热加载降级熔断
15
策略状态恢复
策略参数快照，模型状态序列化，策略热切换与冷启动。
序列化热切换冷启动
16
时钟同步与时间戳
PTP/NTP配置，硬件时间戳恢复，交易日志时间对齐。
PTPNTP时间戳
17
日志与审计恢复
分布式日志收集（ELK/Loki），日志完整性校验，审计追踪重建。
ELKLoki审计
18
配置管理恢复
配置中心（etcd/Consul）的备份与恢复，配置版本回滚，灰度发布。
etcdConsul回滚
19
容器化环境恢复
K8s Pod自动重启，StatefulSet持久化，容器网络恢复策略。
K8sStatefulSet网络
20
云原生容灾
多云部署，K8s集群联邦，跨Region故障切换，DNS智能调度。
多云联邦DNS
21
混沌工程实践
故障注入工具（Chaos Mesh/Litmus），演练场景设计，恢复时间验证。
Chaos MeshLitmus演练
22
自动化故障检测
指标监控（Prometheus），异常检测算法（3-sigma/移动平均），告警收敛。
Prometheus3-sigma告警
23
自动化故障恢复
Ansible/Python脚本实现一键恢复，Runbook自动化，人工确认节点。
AnsibleRunbook自动化
24
恢复演练与复盘
故障恢复演练计划，红蓝对抗，事后复盘与改进措施。
红蓝对抗复盘改进
25
性能与恢复的平衡
恢复速度与系统性能的权衡，异步复制与同步复制的选择，CAP理论在交易中的应用。
CAP异步复制权衡
26
合规与监管要求
交易所对故障恢复的合规要求，数据保留策略，监管报告生成。
合规监管报告
27
案例1：网络分区恢复
某券商交易系统网络分区恢复实战，从发现到恢复的全流程复盘。
网络分区券商复盘
28
案例2：内存损坏重建
高频交易引擎内存损坏后的数据重建，基于WAL的恢复策略。
WAL高频重建
29
案例3：跨洲故障切换
全球部署的套利系统跨洲故障切换，DNS与Anycast的配合。
Anycast全球切换
30
总结与最佳实践
故障恢复检查清单，架构设计原则，持续改进的文化。
检查清单设计原则持续改进