环境数据特征选择与模型优化实战

📚 共计 30 章节
01
课程导论
环境数据特征选择与模型优化的意义、课程目标与学习路径、环境数据的特点与挑战。
导论背景
02
环境数据采集与预处理
数据来源(传感器、遥感、气象站)、数据清洗(缺失值、异常值处理)、数据标准化与归一化。
预处理清洗
03
探索性数据分析(EDA)
描述性统计、数据可视化(箱线图、直方图、散点图矩阵)、相关性分析。
可视化EDA
04
特征工程基础
特征构建(多项式特征、交互特征)、特征变换(对数变换、Box-Cox变换)、特征编码(独热编码、标签编码)。
特征工程编码
05
特征选择方法概览
过滤法、包裹法、嵌入法,以及它们各自的优缺点和适用场景。
过滤法包裹法嵌入法
06
过滤法实战
方差阈值法、相关系数法、卡方检验、互信息法,使用SelectKBest进行特征筛选。
过滤法SelectKBest
07
包裹法实战
递归特征消除(RFE)、前向选择、后向消除,使用RFE和SequentialFeatureSelector。
RFE包裹法
08
嵌入法实战
Lasso回归(L1正则化)、树模型特征重要性(随机森林、XGBoost),使用SelectFromModel。
Lasso树模型
09
主成分分析(PCA)
PCA原理、在环境数据降维中的应用、PCA与特征选择的区别。
降维PCA
10
线性判别分析(LDA)
LDA原理、用于分类问题的特征提取、与PCA的对比。
LDA分类
11
环境数据中的多重共线性问题
VIF(方差膨胀因子)检测、岭回归处理共线性、主成分回归。
共线性VIF
12
时间序列特征提取
滑动窗口统计量、滞后特征、时间戳分解(趋势、季节、残差)。
时间序列滑动窗口
13
空间特征提取
经纬度聚类、空间自相关(Moran's I)、缓冲区分析与距离特征。
空间特征Moran's I
14
模型评估与验证
交叉验证(K折、留一法)、性能指标(RMSE、MAE、R²、AUC-ROC)、过拟合与欠拟合。
评估交叉验证
15
线性回归模型优化
普通最小二乘法、正则化(Ridge、Lasso、ElasticNet)、超参数调优(GridSearchCV)。
线性回归调优
16
树模型优化
决策树剪枝、随机森林调参(n_estimators, max_depth)、XGBoost调参(learning_rate, subsample)。
随机森林XGBoost
17
支持向量机(SVM)优化
核函数选择(RBF、多项式)、参数C和gamma的调优、特征缩放的重要性。
SVM核函数
18
集成学习方法
Bagging(随机森林)、Boosting(AdaBoost、Gradient Boosting)、Stacking。
集成Boosting
19
贝叶斯优化
贝叶斯优化原理、在超参数调优中的应用、与网格搜索和随机搜索的对比。
贝叶斯超参数
20
自动化机器学习(AutoML)
TPOT、Auto-Sklearn、H2O AutoML的实战应用。
AutoMLTPOT
21
环境数据中的不平衡问题
重采样技术(SMOTE、ADASYN)、代价敏感学习、集成方法处理不平衡。
不平衡SMOTE
22
特征选择与模型优化的Pipeline构建
使用scikit-learn Pipeline、ColumnTransformer进行流程整合。
PipelineColumnTransformer
23
案例实战一:空气质量指数(AQI)预测
特征选择与模型优化全流程。
AQI实战
24
案例实战二:水质分类(WQI)
基于特征选择的分类模型优化。
WQI分类
25
案例实战三:土壤重金属污染评估
空间特征提取与模型优化。
土壤空间特征
26
案例实战四:气象数据预测(温度/降水)
时间序列特征与模型优化。
气象时间序列
27
模型解释性
SHAP值分析、特征重要性排序、部分依赖图(PDP)、LIME局部解释。
SHAP可解释性
28
模型部署与监控
模型序列化(Pickle/Joblib)、Flask API部署、模型性能监控与重训练策略。
部署Flask
29
课程总结与进阶方向
特征选择与模型优化的最佳实践、前沿技术(深度学习、图神经网络)、学习资源推荐。
总结进阶
30
综合大作业
端到端环境数据分析项目——从数据采集、特征工程、模型优化到部署的完整流程。
大作业端到端