📘 大数据挖掘平台 · 工具链详解

1 大数据生态全景 Hadoop·Spark·Flink 定位与关系，工具链总览图 2 Linux基础与集群搭建 SSH免密·网络配置·JDK·ZooKeeper集群部署 3 HDFS核心原理 NameNode·DataNode架构，副本机制，读写流程 4 HDFS实战操作 Shell命令·Java API·上传下载·权限管理 5 MapReduce编程模型 Mapper·Reducer·Driver，WordCount手把手 6 MapReduce进阶 分区·排序·合并·自定义数据类型与序列化 7 YARN资源调度 架构组件·调度策略·FIFO/容量/公平·任务提交 8 Hive数据仓库 Hive vs MySQL·HQL基础·内部表与外部表 9 Hive高级查询 分区表·分桶表·窗口函数·UDF自定义函数 10 Hive优化实战 数据倾斜·小文件合并·Tez引擎·CBO优化器 11 Flume日志采集 Source·Channel·Sink，TailDir与Kafka Source 12 Kafka消息队列 Topic·Partition·生产者消费者·ACK与幂等性 13 Kafka进阶 Kafka Eagle监控·Connect·Streams API入门 14 Sqoop数据迁移 MySQL ↔ Hive/HDFS，增量导入与导出 15 Spark Core基础 RDD概念·算子分类·Transformation/Action·SparkContext 16 Spark Core实战 WordCount·文件读取·分区控制·持久化与Checkpoint 17 Spark SQL DataFrame·DataSet·SparkSession·SQL查询与UDF 18 Spark Streaming DStream·窗口操作·状态管理·与Kafka集成 19 Structured Streaming Event-Time·Watermark·输出模式 20 Spark性能调优 内存模型·Shuffle优化·序列化·动态资源分配 21 Flink基础 有状态流处理·DataStream API·执行环境与并行度 22 Flink时间语义 Event Time·Processing Time·Watermark与迟到数据 23 Flink窗口操作 滚动窗口·滑动窗口·会话窗口·自定义窗口 24 Flink状态管理 Keyed State·Operator State·状态后端·Checkpoint 25 Flink Table & SQL 动态表·流式SQL·与Hive集成 26 Flink CDC实战 Debezium集成·MySQL Binlog实时同步 27 数据湖基础 Delta Lake·Apache Iceberg·Hudi对比与选型 28 调度系统 Azkaban·Oozie·DolphinScheduler工作流编排 29 数据治理与元数据 Atlas·Ranger·数据血缘与权限管理 30 项目实战：实时数仓 从0搭建·Lambda架构与Kappa架构对比