容错设计基础：故障类型与冗余策略
各位同学，今天我们聊聊容错设计最底层的两个概念——故障类型和冗余策略。说实话，这两个东西就像盖楼的地基，你地基没打好，后面再花哨的设计都是空中楼阁。我在早期做分布式系统时，就吃过这方面的亏，今天一并分享给你们。
一、故障类型：你得知道敌人长什么样
要设计容错，首先得搞清楚系统到底会出什么毛病。我个人习惯把故障分成三类，这三类几乎覆盖了所有分布式场景。
1. 崩溃故障
这是最老实的故障。节点突然挂了，不响应了，也不发任何消息了。说白了，就是机器宕机、进程被kill、电源被拔。
为什么说它「老实」？因为崩溃的节点不会撒谎。它要么正常工作，要么彻底沉默。处理起来相对简单——你只需要检测到它挂了，然后切换流量就行。
关键点：崩溃故障是「fail-stop」模型，节点停止后不会产生错误行为。
我在项目中遇到过这种情况：某次线上压测，一台机器突然CPU飙到100%，然后直接宕机。幸好我们用了心跳检测，3秒后就把流量切走了。嗯，这里要注意，心跳间隔不能太长，否则用户会感受到超时。
2. 拜占庭故障
这个就麻烦了。拜占庭故障指的是节点可以任意行为——发假消息、篡改数据、甚至联合其他节点一起作恶。你想想看，一个节点明明已经挂了，却还在广播「我很好」，这就是典型的拜占庭行为。
为什么会这样？可能是代码bug、硬件故障导致内存数据损坏，或者更极端的——被黑客攻破了。
处理拜占庭故障需要拜占庭容错算法，比如PBFT。这类算法要求节点数至少是3f+1（f是容忍的拜占庭节点数）。代价很高，但某些场景必须用，比如区块链。
避坑指南：我曾经天真地以为所有故障都是崩溃型，结果在金融系统里遇到了数据校验不一致的问题。后来才意识到，那其实是拜占庭故障的变种——节点没挂，但返回了错误数据。
3. 网络分区
这是分布式系统最头疼的故障。网络分区发生时，一部分节点和另一部分节点彻底失联，但每个分区内部的节点都活得好好的。它们各自为政，数据就开始不一致了。
我记得有个经典案例：某电商平台在做促销时，网络交换机出了问题，导致订单服务和库存服务被分到了两个分区。订单服务还在接单，但库存服务无法更新——结果超卖了。
处理网络分区，核心是CAP理论。你必须在一致性和可用性之间做选择。我个人习惯：对账务系统选CP，对内容推荐选AP。
| 故障类型 | 特征 | 典型场景 | 处理难度 |
|---|---|---|---|
| 崩溃故障 | 节点停止响应 | 宕机、进程崩溃 | 低 |
| 拜占庭故障 | 节点任意行为 | 数据篡改、恶意节点 | 高 |
| 网络分区 | 节点间通信中断 | 交换机故障、网络抖动 | 中 |
二、冗余策略：用空间换时间，用时间换安全
知道了故障类型，接下来就是怎么防。冗余是容错最朴素的手段——说白了，就是多准备几手。我把它分成三类：空间冗余、时间冗余、信息冗余。
1. 空间冗余
空间冗余就是多放几份。最常见的做法是数据副本和服务器备份。
- 数据副本：比如HDFS默认3副本，Kafka的partition也有副本。一份数据坏了，从另一份读。
- 服务器备份：主备模式、多活模式。一台挂了，另一台顶上。
我建议你在设计空间冗余时，注意副本放置策略。不要把三个副本放在同一台物理机上——那等于没冗余。我曾经见过有人把副本放在同一个机架，结果机架交换机一坏，所有副本全挂。
小技巧：副本数不是越多越好。3副本通常够用，5副本以上成本太高，收益递减。
2. 时间冗余
时间冗余就是重试。第一次请求失败了，等一会儿再试一次。听起来简单，但坑很多。
常见的做法有：
- 重试机制：失败后等待指数退避时间再重试。比如第一次等1秒，第二次等2秒，第三次等4秒。
- 超时控制：设置合理的超时时间。太短容易误判，太长会拖垮系统。
- 幂等性设计：重试时必须保证操作是幂等的。否则用户付了两次钱，你就等着被投诉吧。
嗯，这里要特别强调幂等性。我曾经在支付系统里犯过这个错——重试时没有做幂等校验，结果同一笔订单被扣了两次款。后来我们加了个全局唯一ID，每次请求都带上，服务端去重。
3. 信息冗余
信息冗余是通过编码技术来恢复数据。最典型的就是纠删码（Erasure Coding）和校验和。
- 纠删码：比如Reed-Solomon编码。把原始数据分成k份，再生成m份校验数据。任意k份数据都能恢复出原始数据。存储成本比副本低，但计算开销大。
- 校验和：比如CRC32、MD5。用来检测数据是否被篡改或损坏。
我建议你在冷数据存储场景用纠删码，热数据场景用副本。为什么？因为纠删码恢复数据需要计算，延迟高；副本直接读就行，延迟低。
| 冗余策略 | 核心思想 | 优点 | 缺点 |
|---|---|---|---|
| 空间冗余 | 多放几份 | 恢复快、实现简单 | 存储成本高 |
| 时间冗余 | 失败了重试 | 无需额外存储 | 增加延迟、需幂等 |
| 信息冗余 | 编码恢复 | 存储效率高 | 计算开销大 |
三、如何组合使用？
实际项目中，这三种冗余策略往往是组合使用的。举个例子：
假设你设计一个分布式存储系统。数据写入时，先用空间冗余写3个副本。如果某个副本写入失败，用时间冗余重试3次。如果还是失败，用信息冗余的纠删码来恢复数据。
你看，三种策略各司其职，互相补充。我个人习惯是：空间冗余保底，时间冗余兜底，信息冗余优化成本。
核心总结：
- 崩溃故障 → 心跳检测 + 空间冗余
- 拜占庭故障 → 校验和 + 拜占庭容错算法
- 网络分区 → CAP权衡 + 超时控制
好了，这一章的内容就到这里。下一章我们会深入讲「心跳检测与故障检测器」，到时候我会分享一个我在ZooKeeper项目里踩过的坑——保证让你印象深刻。