大数据架构·实战目录
30章 · 从入门到架构
01
大数据全景概述
发展史·电商/金融/物联网 · TB/PB/EB · Lambda vs Kappa
02
数据采集层设计
全量/增量 · Sqoop vs DataX · Flume · Kafka零拷贝
03
数据存储选型
HDFS架构 · HBase RowKey · LSM-Tree · OSS/MinIO
04
资源管理与调度
YARN · Docker+K8s · Kubernetes调度器 · Pod设计
05
计算引擎选择
MR vs Tez vs Spark · RDD/DataFrame/Dataset · Flink Checkpoint
06
数据仓库分层设计
ODS/DWD/DWS/ADS · 星型/雪花型 · SCD Type 1/2/3
07
ETL与数据治理
ETL vs ELT · Atlas元数据 · 数据血缘 · 六性监控
08
实时计算架构
Lambda痛点 · Kappa实践 · Flink SQL · CEP · 状态后端
09
数据湖技术选型
Delta Lake vs Iceberg vs Hudi · ACID · Time Travel
10
消息队列深度
Kafka分区 · ISR/HW/LEO · RocketMQ事务 · Pulsar分层
11
OLAP引擎选型
ClickHouse列存 · Doris聚合 · Druid时序 · Kylin预计算
12
搜索引擎集成
ES倒排索引 · 分片副本 · Logstash · Kibana看板
13
调度系统设计
DolphinScheduler DAG · Airflow动态DAG · 重试策略
14
安全与权限控制
Kerberos · Ranger策略 · 数据脱敏 · 审计日志
15
监控与告警体系
Prometheus+Grafana · 指标采集 · 自定义告警
16
数据可视化架构
Superset vs Grafana vs Tableau · 大屏设计 · API接入
17
机器学习平台
Feature Store · MLflow · TF Serving/ONNX · AB测试
18
流批一体架构
Flink Table & SQL · Hive on Flink · Exactly-Once · 状态复用
19
数据中台建设
OneData · OneID统一实体 · 数据服务API化 · 数据产品化
20
云原生大数据
存算分离 · JuiceFS/Alluxio · 弹性伸缩 · Spot实例
21
数据压缩与编码
Snappy/Zstd/LZ4 · RLE/Dictionary · Parquet/ORC
22
数据迁移实战
MySQL→Hive · CDC (Canal/Debezium) · 全量+增量双轨
23
性能调优方法论
Spark内存/OOM · HDFS小文件 · Kafka分区 · ClickHouse优化
24
高可用架构设计
HDFS HA · YARN RM HA · Kafka MirrorMaker · Flink Savepoint
25
数据服务层设计
RESTful网关 · Kong/APISIX · Redis多级缓存 · Sentinel
26
大数据测试策略
数据质量测试 · JMeter/Gatling · ChaosBlade · 回归测试
27
数据合规与隐私
GDPR/个保法 · 数据分级分类 · 差分隐私 · 联邦学习
28
AI驱动的大数据
AutoML特征工程 · 智能清洗 · 异常检测 · 预测性扩缩容
29
项目实战
电商实时推荐 · 金融风控离线数仓 · 物联网时序分析
30
未来趋势
Serverless大数据 · Data Mesh · AI原生数据库 · 边缘计算