企业级Hadoop集群搭建与调优实战 · 课程目录

01

Hadoop生态全景大数据时代 · HDFS/YARN/MapReduce · 发行版

02

服务器规划与操作系统初始化硬件选型 · 内核参数 · SSH免密

03

JDK环境配置 1.8/11/17 · JAVA_HOME · 多版本切换

04

Hadoop集群基础搭建用户创建 · 配置文件 · 启动验证

05

HDFS核心原理与操作 NameNode/DataNode · 读写流程 · Shell/Java API

06

YARN资源调度详解 ResourceManager · 调度器 · 队列配置

07

MapReduce编程模型 WordCount · Combiner · Shuffle优化

08

Hadoop高可用(HA)搭建 ZooKeeper · NameNode HA · 自动故障转移

09

Hadoop联邦(Federation)机制多NameNode · ViewFS · 联邦+HA

10

Hadoop安全机制 Kerberos · KDC · Token管理

11

Hadoop数据存储与压缩副本策略 · 机架感知 · gzip/lzo/snappy

12

Hadoop集群监控与运维 Grafana+Prometheus · ELK · 告警

13

Hadoop性能调优基础硬件瓶颈 · JVM调优 · 网络调优

14

HDFS调优实战 Block大小 · 短路读取 · 纠删码

15

YARN调优实战容器内存/CPU · 节点标签 · 抢占

16

MapReduce调优实战任务数控制 · 推测执行 · 数据本地性

17

Hadoop参数调优大全核心参数表 · 优先级 · 动态调整

18

Hadoop集群扩容与缩容节点上线/下线 · 数据再平衡 · 滚动升级

19

Hadoop数据备份与恢复快照 · DistCp · 回收站 · 元数据备份

20

Hadoop与关系型数据库集成 Sqoop · 全量/增量 · Parquet/ORC

21

Hadoop与日志收集系统 Flume · Kafka · 日志聚合实战

22

Hive数据仓库搭建 Metastore · HiveServer2 · 分区/分桶

23

Hive调优实战 Tez/Spark · CBO · 数据倾斜处理

24

HBase分布式数据库 HMaster/RegionServer · RowKey设计

25

Spark on Hadoop集成 YARN模式 · 动态资源分配 · Shuffle

26

Flink on Hadoop集成 Session/Per-Job · Checkpoint · YARN

27

Hadoop集群容器化部署 Docker · Kubernetes · CSI/CNI

28

Hadoop集群自动化运维 Ansible/SaltStack · 健康检查 · 自愈

29

Hadoop集群故障排查磁盘故障 · 脑裂 · jstack/jmap/jstat

30

Hadoop集群综合实战 30节点生产集群 · 压测 · 交付文档