第一章：项目启航——环境大数据概览、项目目标与范围、技术栈选型与开发环境准备
各位同学，欢迎来到《环境大数据项目实战》的第一章。
说实话，每次带新项目，我最怕的就是一上来就讲技术细节。你想想看，连项目要解决什么问题都没搞清楚，就开始装 Hadoop、配 Spark，这不是本末倒置吗？所以这一章，咱们先不急着敲代码，而是把整个项目的「骨架」搭起来。
1.1 环境大数据：我们到底在做什么？
环境大数据，说白了就是把环境监测、气象、污染源排放这些海量数据收集起来，用大数据技术去分析、预测、甚至做决策支持。
我当年参与的第一个环境项目，是某省的大气污染溯源。那时候数据量还不算大，一天也就几个 GB。但光是处理那些传感器噪声、缺失值、时间戳对齐，就让我熬了好几个通宵。嗯，这里要提醒大家：环境数据最大的特点不是「大」，而是「脏」。
环境大数据的典型特征：
- 多源异构：气象站、水质监测、卫星遥感、企业排放……数据格式五花八门
- 时空关联：同一个污染事件，可能涉及不同时间、不同地点的数据
- 实时性要求：比如空气质量预警，延迟超过 10 分钟就没意义了
- 数据量大：一个省级平台，每天新增数据量轻松上百 GB
所以，我们这门课要做的，就是搭建一套能处理这些「脏、乱、大」数据的完整系统。
1.2 项目目标与范围：别做「大而全」的坑
我见过太多团队，一开始就想着「我要做一个万能平台」。结果呢？半年过去了，连个能跑通的 demo 都没有。
咱们这个项目，目标非常明确：构建一个基于 Hadoop/Spark/Flink 的环境数据实时分析平台。具体来说，我们要实现三个核心功能：
- 数据采集与存储：模拟环境传感器数据，通过 Kafka 接入，存入 HDFS
- 离线批处理：用 Spark 做历史数据的统计分析和趋势预测
- 实时流处理：用 Flink 做实时告警，比如 PM2.5 超标时自动触发通知
避坑指南：我曾经犯过一个错误——把数据可视化也塞进项目范围。结果发现前端和后端耦合太紧，改一个图表要动整个流程。所以这次，咱们只做后端数据处理，可视化留给专门的 BI 工具。
项目的范围边界也很清楚：不涉及硬件传感器开发，不涉及移动端 App，不涉及复杂的机器学习模型。我们聚焦在「数据从产生到可分析」这条 pipeline 上。
1.3 技术栈选型：为什么是 Hadoop + Spark + Flink？
很多新手会问：「老师，现在不是流行 ClickHouse 和 Doris 吗？为什么还要学 Hadoop 这些老古董？」
我的回答是：技术没有新旧，只有合不合适。环境大数据场景下，数据源极其复杂，数据格式变化频繁，你需要的是一个能灵活应对各种情况的「工具箱」，而不是一把「万能钥匙」。
| 技术组件 | 在项目中的角色 | 为什么选它 |
|---|---|---|
| Hadoop HDFS | 分布式文件存储 | 存储原始数据，支持海量文件，容错性好 |
| Apache Spark | 离线批处理引擎 | 处理 TB 级历史数据，内存计算快，API 友好 |
| Apache Flink | 实时流处理引擎 | 真正的毫秒级延迟，事件时间语义完美适配环境数据 |
| Apache Kafka | 消息队列 | 解耦数据生产与消费，支持高吞吐 |
| CentOS 7 | 操作系统 | 生产环境主流选择，稳定，社区支持好 |
你可能会问：「为什么不用 Spark Streaming 代替 Flink？」
嗯，这个问题问得好。Spark Streaming 本质上是微批次处理，延迟在秒级。而环境数据里的突发污染事件，比如化工厂泄漏，每一秒都很关键。Flink 的纯流处理架构，能让你在毫秒级别做出反应。我在一个项目中就吃过这个亏——用 Spark Streaming 做实时告警，结果告警延迟了 30 秒，差点酿成事故。
1.4 开发环境准备：VMware + Linux + CentOS
好了，理论说完了，咱们来点实际的。开发环境怎么搭？
我个人习惯用 VMware Workstation 做虚拟机。为什么不用 Docker？因为咱们要模拟的是真实集群环境，需要多台机器、网络配置、端口映射。Docker 虽然轻量，但网络这块模拟起来不够「真实」。
注意：你的物理机内存至少要有 16GB，否则跑三台虚拟机（每台 4GB）会非常吃力。我当年用 8GB 的笔记本硬扛，结果虚拟机直接卡死，数据丢了两次……
下面是具体的安装步骤，我尽量简化：
- 安装 VMware Workstation：去官网下载，一路默认安装就行
- 下载 CentOS 7 镜像：推荐使用 CentOS-7-x86_64-Minimal-2009.iso，最小化安装，省资源
- 创建虚拟机：
- CPU：2 核
- 内存：4GB
- 硬盘：40GB
- 网络：NAT 模式（方便宿主机访问）
- 安装 CentOS：选择「最小化安装」，设置 root 密码，创建普通用户
- 配置网络：修改 /etc/sysconfig/network-scripts/ifcfg-ens33，设置静态 IP
配置静态 IP 的代码示例：
# 编辑网络配置文件
vi /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改以下内容
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.100.101
NETMASK=255.255.255.0
GATEWAY=192.168.100.2
DNS1=8.8.8.8
# 重启网络服务
systemctl restart network
# 测试连通性
ping -c 4 baidu.com配置完成后，我建议你立刻做一次快照。这样万一后面搞坏了系统，可以一键恢复。这个习惯是我在第一个项目里养成的——有一次误删了 Hadoop 的配置文件，折腾了一整天……
1.5 知识体系总览
为了让你对整个章节有个直观印象，我画了一张图。这张图展示了本章的核心知识点和它们之间的关系：
这张图把本章的四个核心模块串起来了。你可以看到，从数据特征出发，我们确定了项目目标，然后选择了对应的技术栈，最后落实到开发环境的搭建。每一步都是有逻辑关联的，不是随便拍脑袋决定的。
1.6 本章小结
这一章我们做了三件重要的事：
- 明确了环境大数据项目的「为什么」和「做什么」
- 选定了 Hadoop + Spark + Flink 这套技术组合
- 把开发环境（VMware + CentOS）搭了起来
说实话，很多初学者会跳过环境准备这一步，直接去写代码。结果呢？代码写好了，发现环境跑不起来，又回头折腾虚拟机，白白浪费大量时间。我的建议是：先把地基打牢，再盖楼。
个人经验：我每次搭建新环境，都会把配置过程写成文档。别嫌麻烦，三个月后你再看这些文档，会发现它们比任何教程都管用。因为那是你自己踩过的坑，自己填的土。
好了，环境已经就绪。下一章，我们将正式进入 Hadoop 的安装与配置。到时候，你会看到三台虚拟机组成的小集群，是怎么一步步跑起来的。
公众号:蓝海资料掘金营，微信deep3321