01
环境大数据概述
概念·4V特征·空气质量预测/水质监测/土壤分析·课程架构
大数据应用场景
02
数据采集技术基础
传感器原理(温度/湿度/PM2.5/pH)·采集卡·Modbus协议
传感器Modbus
03
Python环境搭建
Anaconda·Jupyter Notebook·虚拟环境·必备库安装
Python环境配置
04
HTTP API数据采集
RESTful API·requests调用天气API·JSON解析·异常处理
APIrequests
05
网页数据抓取(爬虫基础)
HTML/CSS·BeautifulSoup·XPath·环保局公开数据
爬虫BeautifulSoup
06
动态网页数据采集
Selenium·浏览器驱动·模拟点击/滚动·AJAX数据
Selenium动态加载
07
传感器串口数据读取
pyserial·串口参数(波特率/数据位)·温湿度读取
串口pyserial
08
Modbus协议数据采集
modbus_tk·RTU/TCP·寄存器读取·数据帧解析
Modbus工业协议
09
多源数据融合策略
时间戳对齐·去重·不同采样频率融合·合并实战
数据融合对齐
10
数据采集调度与自动化
APScheduler·定时任务·日志·系统稳定性
调度APScheduler
11
数据存储入门
CSV·Excel(openpyxl)·JSON文件存储
文件存储openpyxl
12
关系型数据库存储
MySQL安装·pymysql·建表·批量插入
MySQLpymysql
13
时序数据库入门
InfluxDB安装·influxdb_client·写入查询
时序库InfluxDB
14
数据预处理概述
数据质量评估·脏数据分类·预处理流程设计
预处理质量评估
15
缺失值处理
isnull检测·dropna·fillna(均值/中位数/前向/插值)
缺失值fillna
16
异常值检测与处理
3σ·箱线图(IQR)·Z-score·替换与剔除
异常值箱线图
17
重复值处理
duplicated·drop_duplicates·业务逻辑合并
重复值去重
18
数据格式统一与类型转换
pd.to_datetime·数值转换·单位统一
类型转换标准化
19
数据标准化与归一化
Min-Max·Z-score·RobustScaler·场景分析
归一化标准化
20
数据离散化与分箱
等宽分箱·等频分箱·自定义分箱·one-hot编码
分箱离散化
21
特征工程基础
特征提取(时间/统计)·特征选择·PCA降维
特征工程PCA
22
文本数据预处理
环境报告清洗·正则·jieba分词·停用词过滤
文本jieba
23
图像数据预处理
OpenCV读取·尺寸调整·灰度化·滤波去噪
图像OpenCV
24
时间序列数据预处理
重采样·滑动窗口平滑·差分·平稳性检验
时间序列resample
25
数据集成与变换
多表合并(merge/join)·pivot_table·groupby
集成pivot
26
数据质量监控与报告
Great Expectations·质量规则·生成报告
质量监控GreatExpectations
27
数据预处理流水线构建
sklearn.pipeline·自定义Transformer·持久化
Pipelinesklearn
28
大数据环境下的预处理
Pandas分块读取·Dask·并行处理加速
Dask并行
29
项目实战一：城市空气质量
API采集→清洗入库·全流程实战
实战空气质量
30
项目实战二：河流水质监测
多源融合·传感器+人工+历史数据预处理
实战水质