分布式系统数据分片与路由技术 · 课程目录

分布式系统概述核心

定义、特征与挑战，数据分片与路由的核心作用

数据分片基础概念

水平分片、垂直分片、混合分片与适用场景

哈希分片算法

一致性哈希、虚拟节点、数据倾斜及解决方案

范围分片策略

键值范围分片、热点问题、动态范围调整

目录分片目录服务

全局目录策略、高可用与性能瓶颈

分片键选择设计

设计原则、常见陷阱、组合键策略

数据路由基础路由

路由表、路由算法、路由缓存

静态路由配置

预定义路由表、配置管理、变更处理

动态路由元数据

基于元数据服务的动态路由、信息同步

客户端路由直连

客户端直连、智能客户端、连接池管理

代理路由中间层

中间代理层架构、读写分离、连接复用

分布式事务与分片事务

2PC、3PC、TCC模式在分片下的挑战

CAP理论与分片权衡

一致性、可用性、分区容忍性在分片中的权衡

最终一致性 Quorum

Quorum机制、向量时钟、Gossip协议应用

分布式ID生成 ID

雪花算法、UUID、数据库序列在分片环境

数据迁移与再平衡迁移

在线/离线迁移、数据校验与修复

分片集群管理集群

扩缩容、节点故障、自动故障转移

分布式数据库分片实践 ShardingSphere

MySQL ShardingSphere 配置与调优

NoSQL分片实践 MongoDB

MongoDB分片集群部署与运维

缓存分片 Redis

Redis Cluster分片、一致性哈希在缓存中应用

消息队列分片 Kafka

Kafka分区机制、消费者组与分片消费

跨分片查询查询

分布式Join、聚合查询、全局排序优化

分片下的索引设计索引

全局索引、本地索引、索引与路由关系

数据一致性校验对账

分片间数据对账、差异修复、增量同步

监控与告警观测

关键指标、链路追踪、日志聚合

分片系统的安全安全

数据加密、访问控制、审计日志

多数据中心分片单元化

异地多活、单元化架构、跨地域路由

云原生环境下的分片 K8s

Kubernetes分片部署、服务网格与路由

分片系统性能调优优化

读写比例、连接池调优、批量操作

未来趋势前沿

Serverless分片、AI辅助路由、新硬件影响