📘 Spark内存计算核心原理精讲
30章 · 从入门到实战
🧑🏫 友好色系
01
Spark概述
↗
发展史 · Hadoop对比 · 核心组件 · 生态系统
02
Spark运行架构
↗
Driver · Executor · Cluster Manager · 任务调度 · 阶段划分
03
Spark部署模式
↗
Local · Standalone · YARN · Mesos · Kubernetes
04
RDD基础
↗
概念 · 五大特性 · 创建方式 · 分区
05
RDD算子（一）
↗
map · filter · flatMap · mapPartitions · groupByKey · reduceByKey
06
RDD算子（二）
↗
reduce · collect · count · take · saveAsTextFile · foreach
07
RDD算子（三）
↗
sortBy · union · intersection · distinct · join · cogroup · cartesian
08
RDD依赖关系
↗
窄/宽依赖 · Lineage · Stage划分 · DAG图
09
RDD缓存机制
↗
缓存级别 · 策略选择 · checkpoint · 对比
10
Spark Shuffle
↗
原理 · Hash/Sort Shuffle · 调优参数 · 文件寻址
11
Spark内存管理
↗
堆内/堆外 · 统一内存模型 · 分配与回收
12
Spark核心机制
↗
任务调度 · 容错 · 数据本地性 · 推测执行
13
Spark SQL入门
↗
发展 · DataFrame/DataSet · SparkSession
14
Spark SQL核心操作
↗
SQL查询 · DSL · UDF/UDAF · 窗口函数
15
Spark SQL优化
↗
Catalyst · Tungsten · 谓词下推 · 列式存储 · 分区裁剪
16
Spark Streaming基础
↗
DStream · Input DStream · Transformation · Output
17
Spark Streaming进阶
↗
窗口操作 · 状态管理 · 背压 · Exactly-Once
18
Structured Streaming
↗
流式DataFrame · Event-Time · Watermark · 流Join
19
Spark MLlib
↗
架构 · 特征工程 · 分类/回归/聚类 · 模型保存
20
Spark GraphX
↗
图计算基础 · 核心抽象 · 图算子 · PageRank
21
性能调优（一）
↗
资源调优 · executor/core/memory · 并行度
22
性能调优（二）
↗
数据倾斜 · Shuffle调优 · 序列化调优
23
性能调优（三）
↗
Spark UI · 日志分析 · 瓶颈诊断
24
Spark 3.x新特性
↗
AQE · 动态分区裁剪 · Join优化 · Pandas UDF
25
Spark与Hive集成
↗
Spark on Hive · Hive on Spark · 元数据 · 性能对比
26
Spark与Kafka集成
↗
Direct Stream · Offset管理 · Streaming整合
27
Spark与HBase集成
↗
BulkLoad · 读写HBase · 二级索引
28
Spark与Elasticsearch集成
↗
读写ES · ES-Hadoop · 实时索引构建
29
生产环境实践
↗
集群规划 · 日志 · 监控告警 · 版本升级
30
综合案例
↗
电商用户行为分析 · 实时ETL · 离线报表 · 用户画像