第2章:数据采集与预处理

大家好,我是老张。在风电这行摸爬滚打了十几年,今天咱们聊聊数据采集与预处理。说实话,很多刚入行的同事觉得这步就是“搬砖”,没什么技术含量。但我告诉你,数据质量直接决定了后续分析的成败。我见过太多因为数据没处理好,导致整个诊断方案跑偏的案例。

2.1 SCADA系统介绍

SCADA系统,全称是数据采集与监视控制系统。说白了,它就是风电场的“神经中枢”。每台风机上几百个传感器,实时把数据传回中控室。你想想看,风速、转速、温度、振动、功率……这些数据就像风机的“体检报告”。

我个人习惯把SCADA系统分成三层:

  • 现场层:传感器、执行器,直接跟风机硬件打交道
  • 控制层:PLC、RTU,负责数据采集和初步处理
  • 监控层:上位机、服务器,做数据存储和展示

嗯,这里要注意一点。不同厂家的SCADA系统,数据格式和接口协议可能完全不同。我在项目中遇到过,某风场同时有Vestas和Goldwind两种机型,数据整合起来那叫一个头疼。所以,做数据采集前,一定要先搞清楚SCADA系统的型号和版本。

核心要点:SCADA系统是数据来源的根本。它的采样频率、精度、存储方式,直接决定了我们能做什么样的分析。

2.2 数据采集频率与精度

数据采集频率,就是多久记录一次数据。常见的设置是:

数据类型 典型频率 用途
风速、功率 1秒~10秒 功率曲线分析、性能评估
温度、振动 1分钟~10分钟 状态监测、故障预警
累计发电量 1小时 电量统计、考核结算

精度这块,我特别想多说两句。很多风场为了省钱,用的传感器精度不够。比如风速仪,误差±0.5m/s看起来不大,但算到发电量上,偏差可能达到5%以上。我曾经处理过一个案例,某风场连续三个月发电量偏低,查来查去,最后发现是风速仪标定出了问题。所以,数据采集前,一定要做传感器校准。

我的经验:如果条件允许,建议在风场安装独立的气象塔,跟机舱风速仪做交叉验证。这样能及时发现传感器漂移问题。

2.3 数据清洗

数据清洗,说白了就是“去伪存真”。原始数据里什么妖魔鬼怪都有,不处理干净,分析结果就是垃圾。

2.3.1 异常值处理

异常值,就是那些明显不合理的数据。比如风速显示100m/s,功率显示负值,这些一看就是错的。常见的异常值类型有:

  • 物理限值异常:风速超过60m/s、转速超过额定值20%以上
  • 逻辑异常:风速为0但功率不为0,或者风速很大但功率为0
  • 突变异常:相邻两个数据点之间变化率超过阈值

处理异常值,我一般用两种方法:

  1. 阈值法:设定上下限,超出就剔除。比如风速0~50m/s,功率0~额定功率×1.1
  2. 3σ原则:计算均值和标准差,超出均值±3σ的视为异常

避坑指南:我曾经遇到过,某风场用3σ原则清洗数据,结果把正常的高风速段数据全删了。为什么?因为那段时间风速普遍偏高,3σ区间把真实数据也误杀了。所以,阈值法更稳妥,3σ只适合做辅助判断。

2.3.2 缺失值处理

缺失值,就是数据记录里空着的地方。原因很多:传感器故障、通信中断、存储异常等。处理缺失值,我常用的策略有:

方法 适用场景 注意事项
直接删除 缺失比例小于5% 会损失数据量
均值填充 短期缺失(几分钟) 会降低数据方差
插值法 连续缺失(几小时) 线性插值简单,但精度一般
模型预测 长期缺失(几天以上) 需要额外建模,成本高

我个人习惯,对于发电量损失分析,缺失值尽量用插值法。因为直接删除会破坏时间序列的连续性,影响后续的功率曲线拟合。嗯,这里有个小技巧:如果缺失时间不长(比如10分钟以内),用前后两个点的平均值填充就行,又快又准。

2.4 数据标准化

数据标准化,就是把不同量纲的数据统一到同一个尺度上。比如风速是m/s,功率是kW,温度是℃,直接放一起没法比。标准化的目的,就是让不同特征的数据具有可比性。

常用的标准化方法有两种:

  • Min-Max标准化:把数据缩放到[0,1]区间。公式是 (x - min) / (max - min)
  • Z-score标准化:把数据转换成均值为0、标准差为1的分布。公式是 (x - mean) / std

在风电数据分析中,我建议用Z-score标准化。为什么?因为风速、功率这些数据往往不是均匀分布的,Min-Max标准化容易受极端值影响。而Z-score标准化对异常值不那么敏感,更适合后续的聚类、回归等分析。

举个例子:某风场风速数据,大部分在3~15m/s之间,但偶尔有20m/s以上的大风。如果用Min-Max标准化,大风数据会被压缩到很小的区间,导致模型学不到特征。而Z-score标准化,大风数据依然能保持相对较大的值。

2.5 知识体系总览

说了这么多,我画了一张图,把数据采集与预处理的整个流程串起来。你一看就明白了。

数据采集与预处理流程 SCADA系统 采集频率与精度设置 数据清洗 异常值处理 | 缺失值处理 数据标准化 高质量数据集

这张图把整个流程串起来了。从SCADA系统采集原始数据,经过频率和精度校验,再到数据清洗和标准化,最后得到高质量的数据集。每一步都环环相扣,缺一不可。

最后说一句:数据预处理虽然枯燥,但它是整个发电量损失分析的地基。地基打不牢,后面盖再高的楼也是白搭。我见过太多人,一上来就急着做功率曲线拟合、做损失计算,结果数据里全是坑,分析结论自然站不住脚。所以,别嫌麻烦,把这一步做扎实了。

专注资料整理