01
异常检测概述
什么是异常检测?应用场景:工业、网络安全、金融、环境。挑战:数据不平衡、概念漂移、标签稀缺。课程目标与路径。
基础导论
02
环境数据特性分析
数据类型:时序、空间、多模态。质量特征:噪声、缺失、异常值。统计特性:周期性、趋势性、自相关性。预处理基础。
数据分析
03
数据采集与特征工程
传感器协议(MQTT、Modbus)。特征提取:统计、频域、时域。特征选择与降维(PCA、t-SNE)。标准化与归一化。
特征工程
04
基于统计的异常检测
Z-Score、IQR、Grubbs检验、Dixon检验。移动平均与指数平滑。优缺点与适用场景。
统计经典
05
基于距离与密度的异常检测
KNN异常检测、局部异常因子(LOF)、孤立森林。参数敏感性分析。
距离密度
06
基于聚类的异常检测
K-Means、DBSCAN聚类。异常判定策略。局限性(高维)。实战:K-Means检测传感器异常。
聚类实战
07
传统机器学习异常检测
One-Class SVM、SVDD、集成方法(Bagging/Boosting)。评估指标:精确率、召回率、F1。
MLSVM
08
深度学习基础回顾
感知机、激活函数、反向传播、梯度下降。过拟合与正则化(Dropout、L1/L2)。PyTorch vs TensorFlow。
深度学习基础
09
自编码器(Autoencoder)原理
编码器-解码器结构。欠完备/稀疏自编码器。重构误差作为异常分数。实战:工业设备异常检测。
AE重构
10
变分自编码器(VAE)与异常检测
VAE原理:变分下界、重参数化。VAE在异常检测中的应用。VAE vs AE,局限性。
VAE生成
11
时序异常检测基础
时间依赖性、季节性。滑动窗口。异常类型:点、上下文、集体。差分与平稳化。
时序预处理
12
基于LSTM的异常检测
LSTM原理(遗忘门、输入门、输出门)。预测/重构模型。LSTM-Autoencoder。实战:水质监测异常。
LSTM时序
13
基于Transformer的异常检测
自注意力、位置编码。Informer、Autoformer。Transformer vs LSTM。环境监测案例。
Transformer注意力
14
图神经网络(GNN)与空间异常检测
图数据基础、GCN/GAT原理。空间异常传播。实战:空气污染传感器网络异常。
GNN空间
15
多模态异常检测
多模态融合(图像+时序、文本+数值)。多模态自编码器。跨模态对比学习。挑战:对齐、缺失模态。
多模态融合
16
数据不平衡处理
异常检测中的不平衡。重采样(SMOTE、ADASYN)。代价敏感学习。GAN生成异常样本。
不平衡采样
17
概念漂移与自适应模型
漂移类型:突然、渐进、周期性。检测方法(DDM、ADWIN)。增量学习、模型重训练。实战:季节性变化。
漂移自适应
18
模型评估与验证
离线/在线评估(交叉验证、前向验证)。AUC-ROC、AUC-PR、F-beta。可解释性SHAP、LIME。
评估指标
19
模型部署与边缘计算
模型压缩(量化、剪枝、蒸馏)。TensorFlow Lite、ONNX Runtime。实时推理。实战:树莓派部署。
部署边缘
20
端到端异常检测系统设计
系统架构:数据流、模型服务、告警。数据管道(Kafka、Flink)。模型服务(Flask、FastAPI)。可视化(Grafana)。
系统架构
21
案例:工业设备预测性维护
问题定义、数据收集、特征工程、模型选择、训练调优、部署评估。
工业实战
22
案例:网络安全入侵检测
网络流量特点、流特征/包特征。随机森林、XGBoost、深度学习。实时检测与响应。
安全入侵
23
案例:金融交易欺诈检测
高维稀疏时序、用户行为画像、交易序列。LightGBM、自编码器、GNN。模型解释与合规。
金融欺诈
24
案例:环境监测异常检测(空气质量)
时空相关、多污染物、多站点联合建模。LSTM-AE、GNN。预警系统设计。
环境空气质量
25
超参数调优
网格搜索、随机搜索、贝叶斯优化(Hyperopt、Optuna)。遗传算法。计算资源 vs 效果。
调优超参数
26
模型集成与融合
Bagging、Stacking。加权平均、投票、学习器融合。异构模型集成。部署挑战。
集成融合
27
可解释异常检测
为什么需要可解释性?Permutation Importance、SHAP。归因分析、反事实解释。热力图、时序归因。
可解释SHAP
28
大规模异常检测系统
分布式数据处理(Spark、Dask)。分布式训练(Horovod、PyTorch Distributed)。MLflow、DVC。监控与运维。
大规模分布式
29
前沿趋势与研究方向
自监督学习、基础模型(Foundation Model)、联邦学习与隐私保护、因果异常检测。
前沿研究
30
课程总结与项目实战
知识体系回顾。综合项目:完整异常检测系统。项目答辩与评审。学习资源与职业建议。
总结项目