01
环境大数据概述
概念、特征与价值，空气质量监测、水污染溯源、固废管理场景
概念场景
02
平台总体架构设计
分层架构：采集层、存储层、计算层、应用层；技术选型原则
架构高可用
03
硬件与网络环境规划
服务器选型(计算/存储/GPU)，千兆/万兆组网，机房温湿度UPS
硬件网络
04
Linux操作系统基础
CentOS/Ubuntu安装，SSH远程，文件/进程/网络管理命令
Linux命令
05
基础环境配置
JDK安装，SSH免密，NTP时间同步，防火墙与SELinux
环境安全
06
Hadoop集群搭建
Hadoop 3.x分布式，NameNode/DataNode，YARN资源调度
Hadoop分布式
07
HDFS深入与数据存储
读写原理，副本策略，Shell操作，Java API访问
HDFS存储
08
Zookeeper分布式协调
集群部署，Leader选举，Watcher机制，Hadoop集成
Zookeeper协调
09
Hive数据仓库
安装配置，HQL(DDL/DML)，分区/分桶表，HDFS集成
Hive数仓
10
Spark计算引擎
Standalone/YARN模式，RDD/DataFrame，Spark SQL实战
Spark计算
11
Flume日志采集
Source/Channel/Sink架构，环境监测日志采集，自定义拦截器
Flume采集
12
Kafka消息队列
集群部署，Topic/Partition设计，生产者消费者API，Flume集成
Kafka消息
13
数据采集与接入实战
多源接入(API/数据库/文件)，清洗预处理，质量监控
数据接入清洗
14
环境数据存储设计
时序库(InfluxDB/TimescaleDB)，空间库PostGIS，冷热分层
时序库空间
15
实时计算与流处理
Spark Streaming，Flink入门，环境指标实时告警(PM2.5)
流处理Flink
16
数据可视化与BI
Superset部署，Grafana仪表盘，环境大屏(AQI/热力图)
可视化大屏
17
环境数据治理
元数据(Atlas)，数据血缘，质量规则引擎，生命周期管理
治理血缘
18
平台安全与权限控制
Kerberos认证，Ranger权限，传输/静态加密，审计日志
安全权限
19
集群监控与运维
Prometheus+Grafana，ELK日志，扩缩容，故障排查
监控运维
20
自动化部署与DevOps
Ansible剧本，Docker容器化，Kubernetes编排
DevOps容器
21
环境大数据标准规范
数据标准(单位/编码)，RESTful API规范，共享交换标准
标准规范
22
空气质量监测案例
AQI计算，站点接入，LSTM预报，污染溯源分析
案例AI
23
水环境监测案例
COD/氨氮/总磷，河流断面流处理，污染扩散可视化
水环境流处理
24
固废管理案例
固废源采集，转运轨迹(GPS+GIS)，处置监控预警
固废轨迹
25
环境大数据与AI融合
MLflow平台，随机森林/XGBoost，模型部署推理
AIMLflow
26
平台性能优化
HDFS小文件，Spark Shuffle，Hive CBO，Kafka吞吐量
调优性能
27
灾备与高可用设计
全量/增量备份，异地容灾，HA自动切换，恢复演练
灾备高可用
28
平台测试与验收
功能/性能(TPC-DS)/安全测试，验收文档编写
测试验收
29
项目实战：全流程搭建
需求分析到上线，架构/部署/运维文档，Git协作
实战项目
30
课程总结与展望
技术栈回顾，碳达峰碳中和/数字孪生，职业建议
总结趋势