什么是数据挖掘
CRISP-DM
项目生命周期
典型应用场景
明确业务目标
评估现状
定义成功标准
制定项目计划
内部数据源识别
外部数据源接入
API数据采集
爬虫策略与合规
描述性统计
数据分布可视化
相关性分析
异常值初步检测
缺失值处理
重复数据处理
异常值处理
数据类型统一
多表合并
特征缩放
数据离散化
One-Hot编码
线性回归
岭回归与Lasso
评估指标
过拟合与正则化
K-Means
层次聚类
DBSCAN
轮廓系数/肘部法则
Apriori
FP-Growth
支持度/置信度/提升度
购物篮分析
Bagging/Boosting
Stacking/Voting
集成策略选择
SHAP值分析
特征重要性
LIME局部解释
部分依赖图
过采样(SMOTE)
欠采样
代价敏感学习
集成方法
平稳性检验/差分
ARIMA/Prophet
时间序列交叉验证
Keras/TensorFlow
全连接网络
Dropout/BN/早停
协同过滤
矩阵分解(SVD)
基于内容推荐
冷启动问题
模型序列化
Flask REST API
Docker容器化
模型监控
Spark MLlib
分布式数据处理
Pandas UDF
大数据特征工程
Auto-Sklearn
TPOT / H2O
适用场景与局限
数据隐私(GDPR)
算法公平性
模型偏见检测
可追溯性