风电场测风数据清洗与质量控制实战

📚 共计 30 章节
01
课程导论:为什么要做数据清洗?
测风数据常见问题概览,清洗意义与目标
概览入门
02
测风塔与传感器
测风塔结构、风速仪、风向标、温度气压传感器原理
硬件原理
03
数据采集系统
数据记录仪、通信方式(GPRS/卫星)、数据存储格式
采集通信
04
原始数据解读
Campbell/NRG 数据格式解析,时间戳、通道、单位
格式解析
05
数据导入与预览
Python读取CSV/Excel,pandas初步探索,describe()
Pythonpandas
06
时间序列处理
时间戳标准化,时区处理,重采样(10min→1h)
时间重采样
07
缺失值识别
isnull()统计,缺失模式分析,可视化缺失热力图
缺失可视化
08
缺失值处理(上)
插值法(线性、样条),向前/向后填充
插值填充
09
缺失值处理(下)
基于相邻塔的相关性插补,机器学习回归插补
相关性ML
10
异常值检测(上)
阈值法(合理风速范围0-40m/s),风向0-360°
阈值规则
11
异常值检测(中)
标准差法(3σ原则),箱线图法(IQR)
统计箱线图
12
异常值检测(下)
局部异常因子(LOF),孤立森林(Isolation Forest)
LOF孤立森林
13
风速数据清洗
桨距角/湍流强度异常,卡住风速计检测(持续相同值)
风速卡住
14
风向数据清洗
风向死区、北向偏差校正、静风期风向处理
风向校正
15
温度与气压清洗
温度梯度异常、气压跳变、传感器漂移修正
温度气压
16
数据一致性校验
相邻塔风速比、风向差合理性、功率曲线验证
一致性功率曲线
17
湍流强度计算
TI公式、异常TI识别(过高/过低)、阵风系数
湍流TI
18
风切变计算
风切变指数α、不同层风速关系、异常切变处理
风切变α
19
数据完整性评估
月度/年度数据完整率、有效数据时长统计
完整性统计
20
质量控制标记体系
QC flag设计(0-好/1-可疑/2-坏),元数据记录
QC标记
21
自动化清洗Pipeline
Python脚本封装,函数化清洗流程,参数配置
Pipeline自动化
22
可视化报告生成
matplotlib绘制时间序列、风玫瑰、日/月变化图
可视化报告
23
数据导出与归档
清洗后数据存储为Parquet/CSV,元数据JSON保存
导出Parquet
24
案例实战(一)
某山地风场数据清洗全流程演示
实战山地
25
案例实战(二)
某海上风场数据特殊问题(盐雾、结冰)处理
海上盐雾
26
案例实战(三)
低风速季与台风季数据清洗策略对比
季节策略
27
行业标准与规范
IEC 61400-12-1,国标GB/T 18710-2002解读
标准IEC
28
数据质量报告撰写
报告结构、关键指标、图表规范
报告规范
29
常见错误与避坑
时间戳陷阱、单位混淆、传感器更换记录
避坑经验
30
课程总结与进阶
从清洗到风资源评估,机器学习在QC中的应用展望
总结进阶