01
风电数据清洗概述
风电运维数据的特点（高噪声、多源异构、时序依赖），数据清洗在风电大模型中的重要性，课程整体框架介绍。
概述框架
02
风电数据采集与存储
SCADA系统数据采集原理，CMS振动数据采集，气象数据接入，数据存储格式（CSV、Parquet、时序数据库）。
SCADACMS存储
03
数据质量评估指标体系
完整性、准确性、一致性、时效性、唯一性指标定义，数据质量评分卡设计。
质量评分卡
04
缺失值处理策略
缺失值类型（随机缺失、非随机缺失），插值方法（线性插值、前向填充、KNN插值），风电场景下的特殊处理（停机时段、限电时段）。
插值KNN停机
05
异常值检测方法
基于统计的方法（3σ原则、箱线图），基于距离的方法（LOF），基于密度的方法（DBSCAN），风电典型异常模式（传感器漂移、通信中断、叶片结冰）。
LOFDBSCAN传感器
06
噪声数据平滑技术
移动平均滤波，中值滤波，小波去噪，卡尔曼滤波在风电数据中的应用。
滤波小波卡尔曼
07
数据标准化与归一化
Min-Max归一化，Z-score标准化，鲁棒标准化，风电特征的不同尺度处理。
归一化Z-score
08
时序数据重采样
降采样（聚合统计），升采样（插值），风电数据的不等间隔处理，重采样对模型性能的影响。
降采样升采样
09
多源数据对齐与融合
时间戳对齐策略，空间对齐（风电场坐标系统），数据融合方法（加权平均、贝叶斯融合）。
对齐融合贝叶斯
10
特征工程基础
统计特征（均值、方差、偏度、峰度），频域特征（FFT、功率谱密度），时频特征（小波变换）。
FFT小波统计
11
风电领域特征提取
风速-功率曲线特征，桨距角特征，发电机转速特征，齿轮箱振动特征，塔筒振动特征。
功率曲线振动
12
数据标注概述
标注类型（分类标注、回归标注、序列标注），标注规范制定，标注质量控制。
标注规范质量控制
13
故障类型标注
叶片故障（裂纹、结冰、不平衡），齿轮箱故障（磨损、断齿、轴承故障），发电机故障（定子、转子、轴承），变桨系统故障。
叶片齿轮箱发电机
14
运行状态标注
正常运行、启停机过程、限电运行、故障停机、维护停机、待机状态。
状态停机
15
气象事件标注
湍流强度等级，风切变事件，极端风速事件，雷暴天气，冰冻天气。
湍流冰冻极端
16
半自动标注工具开发
基于规则的自动标注（阈值法、逻辑判断），基于模型的辅助标注（聚类、异常检测），人工审核界面设计。
自动标注审核
17
标注数据管理
标注数据存储格式（JSON、XML、数据库），版本管理，标注溯源，标注一致性检查。
版本溯源JSON
18
数据清洗Pipeline构建
ETL流程设计，DAG任务编排，断点续传机制，日志与监控。
ETLDAG监控
19
分布式数据清洗
Spark在风电大数据清洗中的应用，Dask并行计算，分布式存储（HDFS、MinIO）。
SparkDaskHDFS
20
实时数据清洗
流处理框架（Kafka、Flink），滑动窗口计算，实时异常检测，边缘计算场景。
KafkaFlink边缘
21
数据清洗质量评估
清洗前后数据质量对比，清洗效果量化指标（信噪比提升、异常检出率），A/B测试方法。
信噪比A/B测试
22
数据增强技术
时序数据增强（时间扭曲、幅度缩放、噪声注入），生成对抗网络（GAN）生成风电数据，SMOTE过采样。
GANSMOTE增强
23
隐私与安全
数据脱敏技术（差分隐私、k-匿名），访问控制策略，数据加密存储，合规性要求（GDPR、等保）。
脱敏GDPR等保
24
数据版本控制
DVC工具使用，数据血缘追踪，数据回滚，实验复现。
DVC血缘回滚
25
数据标注质量评估
标注者一致性（Cohen's Kappa），标注准确率，标注效率优化，众包标注质量控制。
Kappa众包
26
清洗与标注自动化
AutoML在数据清洗中的应用，主动学习策略，弱监督学习，规则自动发现。
AutoML主动学习
27
案例实战一：齿轮箱故障诊断
从原始SCADA数据到标注完成的完整流程，齿轮箱故障诊断数据清洗与标注。
实战齿轮箱
28
案例实战二：功率预测数据清洗
气象数据与SCADA数据融合，多时间尺度标注，风电场功率预测数据清洗与标注。
实战功率预测
29
案例实战三：叶片结冰检测
振动数据、气象数据、图像数据多模态标注，叶片结冰检测数据清洗与标注。
实战多模态
30
课程总结与展望
数据清洗与标注最佳实践总结，大模型时代的数据挑战，未来趋势（数据飞轮、合成数据、联邦学习）。
总结联邦学习