从零搭建大数据开发环境与工具链

🎯 30章 · 完整目录 v2.0
01 大数据概述
  • 什么是大数据
  • 4V特征
  • 技术生态圈
  • Hadoop与Spark定位
02 虚拟机与Linux基础
  • VMware/VirtualBox
  • CentOS/Ubuntu安装
  • 常用命令
  • 网络配置
03 Java环境搭建
  • JDK安装配置
  • 环境变量
  • 验证Java
  • 基础语法速览
04 SSH免密登录与网络配置
  • SSH原理
  • 生成密钥对
  • 免密登录
  • 集群网络规划
05 Hadoop单机与伪分布式
  • 下载与解压
  • core-site.xml
  • hdfs-site.xml
  • 启动验证
06 Hadoop完全分布式集群
  • 集群规划
  • 配置文件分发
  • 启动与测试
07 HDFS核心原理与操作
  • HDFS架构
  • 文件读写流程
  • Shell命令
08 MapReduce编程模型
  • MapReduce思想
  • WordCount
  • Job提交
  • YARN调度
09 Hive数据仓库基础
  • Hive安装配置
  • MySQL元数据
  • HQL建表查询
10 Hive高级特性
  • 分区表
  • 分桶表
  • UDF/UDAF/UDTF
  • 数据倾斜优化
11 Zookeeper分布式协调
  • Zookeeper安装
  • 选举机制
  • Shell操作
  • Java API
12 Kafka消息队列
  • 安装配置
  • Topic与Partition
  • 生产者/消费者API
  • 与Flume整合
13 Flume日志采集
  • Source/Channel/Sink
  • 配置文件编写
  • 采集到HDFS
14 Sqoop数据迁移
  • Sqoop安装
  • MySQL→HDFS/Hive
  • Hive→MySQL
15 Spark基础与安装
  • Spark与Hadoop关系
  • Local/Standalone模式
  • Spark Shell
16 Spark Core RDD编程
  • RDD概念与创建
  • Transformation/Action
  • 持久化与Checkpoint
17 Spark SQL
  • DataFrame/DataSet
  • 与Hive整合
  • 读写MySQL
18 Spark Streaming实时计算
  • DStream概念
  • WordCount实时
  • 窗口操作
  • 与Kafka整合
19 Scala语言基础
  • Scala安装
  • 变量与函数
  • 集合操作
  • 模式匹配
20 Scala面向对象与函数式
  • 类与对象
  • Trait特质
  • 高阶函数
  • 隐式转换
21 Azkaban工作流调度
  • Azkaban安装
  • 创建Job与Flow
  • 定时调度
22 HBase列式数据库
  • HBase安装
  • RowKey设计
  • Shell操作
  • Java API
23 Elasticsearch搜索引擎
  • ES安装
  • 索引与文档
  • 分词器与查询
  • Kibana可视化
24 数据仓库建模
  • 星型/雪花模型
  • 维度表与事实表
  • 缓慢变化维
25 数据采集与清洗实战
  • Scrapy爬虫
  • Pandas清洗
  • 存储到HDFS
26 离线数仓项目实战
  • 需求分析
  • ODS/DWD/DWS/ADS
  • Hive ETL与报表
27 实时数仓项目实战
  • Kafka+Flume+Spark Streaming
  • 结果写入MySQL/Redis
28 数据可视化与BI工具
  • Superset安装
  • 连接Hive/MySQL
  • 仪表盘
  • Tableau基础
29 集群监控与运维
  • Ambari安装
  • Ganglia/Nagios
  • ELK日志收集
30 大数据面试与职业发展
  • 面试题解析
  • 简历优化
  • 学习路线
  • 开源社区贡献
📘 从零搭建大数据开发环境与工具链
公众号: 蓝海资料掘金营 微信 deep3321