📘
分布式计算框架
核心技术与应用
🎯 30章 · 从入门到实战
🧩 友好色系
⭐
青少年 · 极客风格
1
01
分布式计算概述
分布式系统定义、发展历史、核心挑战：CAP理论、一致性模型
2
02
MapReduce编程模型
MapReduce思想、WordCount案例、Shuffle过程详解
3
03
Hadoop生态圈
HDFS架构、YARN资源调度、Hadoop集群搭建实战
4
04
Spark核心原理
RDD概念、DAG调度、Spark运行架构 (Driver/Executor)
5
05
Spark SQL
DataFrame/Dataset API、Catalyst优化器、与Hive集成
6
06
Spark Streaming
DStream原理、Structured Streaming、实时ETL案例
7
07
Flink基础
有状态流处理、事件时间与处理时间、Checkpoint机制
8
08
Flink高级特性
CEP复杂事件处理、Flink SQL、与Kafka集成实战
9
09
消息队列Kafka
Topic与Partition、生产者/消费者原理、Exactly-Once语义
10
10
分布式存储系统
HBase列式存储、Cassandra一致性哈希、对象存储MinIO
11
11
分布式协调服务
ZooKeeper选举机制、分布式锁实现、etcd与Consul对比
12
12
资源管理与调度
YARN vs Kubernetes、Mesos历史、K8s调度器扩展
13
13
数据序列化与通信
Avro、Thrift、Protobuf对比、gRPC与Netty
14
14
分布式容错机制
检查点、日志回放、血缘关系 (Lineage)
15
15
数据倾斜与优化
Join倾斜、GroupBy倾斜、动态分区与Salting技术
16
16
分布式机器学习框架
Parameter Server架构、AllReduce策略、TensorFlow分布式
17
17
图计算框架
Pregel模型、GraphX、Neo4j与分布式图数据库
18
18
流批一体架构
Lambda架构、Kappa架构、Flink流批一体实践
19
19
数据湖与数据仓库
Delta Lake、Apache Iceberg、Hudi对比
20
20
分布式安全
Kerberos认证、数据加密、RBAC权限控制
21
21
性能调优实战
Spark内存调优、Flink反压处理、Kafka吞吐量优化
22
22
分布式网络
RDMA、InfiniBand、TCP调优、数据本地性
23
23
边缘计算与分布式
边缘节点调度、雾计算、云边协同案例
24
24
分布式监控
Prometheus + Grafana、ELK日志、链路追踪Jaeger
25
25
Serverless与分布式
函数计算、AWS Lambda、OpenWhisk架构
26
26
分布式一致性
Paxos、Raft、ZAB协议详解与对比
27
27
分布式事务
2PC/3PC、TCC、Saga模式、Seata框架
28
28
分布式测试
混沌工程、故障注入、性能基准测试 (TPC-H)
29
29
分布式计算中的AI
AutoML分布式训练、模型并行与数据并行、联邦学习
30
30
未来趋势
计算存储分离、Serverless Data、AI Native分布式系统
⚡ 点击卡片跳转对应章节 ⚡