环境大数据项目实战 · 从零到部署

📚 共计 30 章节

项目启航：环境大数据概览

项目目标与范围 · 技术栈选型 (Hadoop/Spark/Flink) · 开发环境准备 (VMware/Linux/CentOS)

数据基石：Linux & 网络

Linux基础命令 · SSH免密登录 · 网络配置 · JDK安装 · Hadoop集群角色与架构

Hadoop集群搭建

安装包下载与解压 · 核心配置 (core-site/hdfs-site/mapred-site/yarn-site) · 集群初始化 · Web UI验证

分布式存储 HDFS

读写流程 · Shell命令 (上传/下载/查看) · Java API编程 · 数据块与副本机制

分布式计算 MapReduce

编程模型 · WordCount实战 · 序列化与分区 · Combiner & Shuffle机制

计算MapReduce

资源调度 YARN

架构与组件 · 作业提交流程 · 调度器 (FIFO/Capacity/Fair) · 命令与日志查看

数据仓库 Hive

安装与配置 · 集成MySQL · DDL/DML · 内部表/外部表 · 分区表与分桶表

Hive高级查询

HQL基础 · 聚合函数 & Group By · 多表连接 · 子查询与CTE · 窗口函数实战

Hive性能优化

调优参数 · 数据倾斜处理 · 文件格式 (ORC/Parquet) · 压缩算法 · 执行计划分析

数据迁移 Sqoop

Sqoop安装 · MySQL ↔ HDFS/Hive · 导出到MySQL · 增量导入与作业调度

内存计算 Spark

生态圈介绍 · Core架构 · RDD概念与算子 · 集群模式 (Standalone/YARN)

Spark Core实战

RDD创建 (集合/文件) · Transformation/Action · 持久化 · 共享变量 (广播/累加器)

DataFrame & DataSet · Spark SQL CLI · Hive on Spark · UDF/UDAF自定义函数

Spark Streaming

流处理概念 · DStream与Receiver · 窗口操作 · 状态管理 · 与Kafka集成实战

流处理Streaming

消息队列 Kafka

架构与概念 · Topic & Partition · 生产者/消费者API · 与Spark Streaming整合

实时计算 Flink

架构与特点 · Flink vs Spark Streaming · 环境搭建 · DataStream API入门

窗口计算 (Tumbling/Sliding/Session) · 状态编程 & Checkpoint · Flink SQL · CEP

数据采集 Flume

架构 (Source/Channel/Sink) · 安装配置 · 自定义拦截器 · 与Kafka集成

调度系统 Azkaban

架构 · Flow定义与部署 · 定时任务 · 条件工作流 · 与Hadoop任务集成

数据可视化 Superset

安装配置 · 数据源连接 · 图表制作 (折线/柱状/地图) · Dashboard设计

可视化Superset

环境数据采集实战

空气质量API对接 · 数据清洗 · Flume实时采集至Kafka · 数据落地HDFS

环境数据离线分析

Hive ETL清洗 · Spark SQL统计分析 (年均值/超标天数) · 结果导出至MySQL

环境数据实时分析

Flink消费Kafka · 实时计算PM2.5超标告警 · 结果写入Redis/MySQL

数据仓库分层设计

ODS/DWD/DWS/ADS · 维度建模 (星型/雪花型) · 缓慢变化维 · 数据血缘管理

全流程集成测试

端到端联调 · 任务依赖配置 · 异常处理与重试 · 性能压测

项目部署与运维

集群环境检查 · 服务启动脚本 · 监控 (Ganglia/Prometheus) · 日志收集 (ELK)

容器化部署 Docker

Docker安装与命令 · Dockerfile编写 · Compose编排Hadoop集群 · 镜像仓库

持续集成 CI/CD

Git版本控制 · Jenkins安装配置 · 自动化构建部署 · SonarQube代码质量

项目文档与答辩

技术方案文档 · 架构图 (Draw.io) · PPT制作 · 模拟答辩与问题准备

项目总结与展望

项目复盘 · 常见坑点 · 新技术趋势 (Lakehouse/Data Mesh) · 职业发展建议