大数据离线批处理全流程实战 · 课程目录

01

大数据概述

大数据概念、发展历程、核心技术与生态圈、离线批处理的应用场景。

02

Hadoop生态基础

HDFS架构与原理、MapReduce计算模型、YARN资源调度。

03

Shell操作、Java API操作、读写流程详解、机架感知与副本策略。

04

MapReduce编程

WordCount案例、序列化与分区、Combiner与Shuffle机制。

05

YARN资源管理

架构组件、任务调度流程、调度器（FIFO、Capacity、Fair）。

06

Hive数据仓库

Hive架构、安装配置、DDL/DML操作、内部表与外部表。

07

Hive高级查询

分组聚合、多表连接、子查询、窗口函数、自定义函数UDF。

08

Hive性能优化

分区表与分桶表、文件格式选择、数据倾斜处理、执行计划分析。

09

Flume日志采集

Flume架构、Source/Channel/Sink配置、自定义拦截器、高可用方案。

10

Sqoop数据迁移

Sqoop原理、从MySQL导入HDFS/Hive、从Hive导出MySQL、增量导入。

11

Kafka消息队列

Kafka架构、Topic与Partition、生产者与消费者API、Exactly-Once语义。

12

集群部署、日志采集管道搭建、Kafka与Flume整合、监控与调优。

13

Spark与MapReduce对比、Spark生态系统、RDD概念与创建、行动算子与转换算子。

14

Spark Core实战

WordCount、累加器与广播变量、分区与持久化、Spark任务提交。

15

DataFrame与DataSet、Spark SQL与Hive整合、UDF/UDAF、性能优化。

16

Spark Streaming

DStream原理、窗口操作、状态管理、与Kafka整合（Direct方式）。

17

内存模型、数据倾斜解决方案、Shuffle调优、Spark UI解读。

18

HBase分布式数据库

HBase架构、RowKey设计、Shell操作、Java API、与Hive整合。

19

HBase高级特性

Region分裂与合并、布隆过滤器、二级索引方案、Phoenix入门。

20

数据仓库建模

ER建模与维度建模、星型模型与雪花模型、缓慢变化维处理。

21

离线数仓分层设计

ODS、DWD、DWS、ADS各层职责、命名规范、数据流向。

22

全流程实战项目（一）

需求分析、架构设计、技术选型、环境规划。

23

全流程实战项目（二）

数据采集层搭建（Flume+Kafka）、ODS层构建。

24

全流程实战项目（三）

DWD层数据清洗与转换、DWS层轻度汇总。

25

全流程实战项目（四）

ADS层业务指标计算、报表导出与可视化。

26

Azkaban/Crontab任务调度、依赖管理、失败重试与告警。

27

数据质量监控

数据完整性校验、一致性检查、异常检测、监控看板搭建。

28

数据治理与元数据管理

血缘分析、数据字典、权限控制、生命周期管理。

29

性能优化与故障排查

集群瓶颈分析、慢任务诊断、OOM处理、日志分析。

30

总结与展望

Lambda架构与Kappa架构、实时数仓趋势、数据湖（Delta Lake/Iceberg）简介。