第2章:数据采集与预处理
大家好,我是老张。在风电这行摸爬滚打了十几年,今天咱们聊聊数据采集与预处理。说实话,很多刚入行的同事觉得这步就是“搬砖”,没什么技术含量。但我告诉你,数据质量直接决定了后续分析的成败。我见过太多因为数据没处理好,导致整个诊断方案跑偏的案例。
2.1 SCADA系统介绍
SCADA系统,全称是数据采集与监视控制系统。说白了,它就是风电场的“神经中枢”。每台风机上几百个传感器,实时把数据传回中控室。你想想看,风速、转速、温度、振动、功率……这些数据就像风机的“体检报告”。
我个人习惯把SCADA系统分成三层:
- 现场层:传感器、执行器,直接跟风机硬件打交道
- 控制层:PLC、RTU,负责数据采集和初步处理
- 监控层:上位机、服务器,做数据存储和展示
嗯,这里要注意一点。不同厂家的SCADA系统,数据格式和接口协议可能完全不同。我在项目中遇到过,某风场同时有Vestas和Goldwind两种机型,数据整合起来那叫一个头疼。所以,做数据采集前,一定要先搞清楚SCADA系统的型号和版本。
核心要点:SCADA系统是数据来源的根本。它的采样频率、精度、存储方式,直接决定了我们能做什么样的分析。
2.2 数据采集频率与精度
数据采集频率,就是多久记录一次数据。常见的设置是:
| 数据类型 | 典型频率 | 用途 |
|---|---|---|
| 风速、功率 | 1秒~10秒 | 功率曲线分析、性能评估 |
| 温度、振动 | 1分钟~10分钟 | 状态监测、故障预警 |
| 累计发电量 | 1小时 | 电量统计、考核结算 |
精度这块,我特别想多说两句。很多风场为了省钱,用的传感器精度不够。比如风速仪,误差±0.5m/s看起来不大,但算到发电量上,偏差可能达到5%以上。我曾经处理过一个案例,某风场连续三个月发电量偏低,查来查去,最后发现是风速仪标定出了问题。所以,数据采集前,一定要做传感器校准。
我的经验:如果条件允许,建议在风场安装独立的气象塔,跟机舱风速仪做交叉验证。这样能及时发现传感器漂移问题。
2.3 数据清洗
数据清洗,说白了就是“去伪存真”。原始数据里什么妖魔鬼怪都有,不处理干净,分析结果就是垃圾。
2.3.1 异常值处理
异常值,就是那些明显不合理的数据。比如风速显示100m/s,功率显示负值,这些一看就是错的。常见的异常值类型有:
- 物理限值异常:风速超过60m/s、转速超过额定值20%以上
- 逻辑异常:风速为0但功率不为0,或者风速很大但功率为0
- 突变异常:相邻两个数据点之间变化率超过阈值
处理异常值,我一般用两种方法:
- 阈值法:设定上下限,超出就剔除。比如风速0~50m/s,功率0~额定功率×1.1
- 3σ原则:计算均值和标准差,超出均值±3σ的视为异常
避坑指南:我曾经遇到过,某风场用3σ原则清洗数据,结果把正常的高风速段数据全删了。为什么?因为那段时间风速普遍偏高,3σ区间把真实数据也误杀了。所以,阈值法更稳妥,3σ只适合做辅助判断。
2.3.2 缺失值处理
缺失值,就是数据记录里空着的地方。原因很多:传感器故障、通信中断、存储异常等。处理缺失值,我常用的策略有:
| 方法 | 适用场景 | 注意事项 |
|---|---|---|
| 直接删除 | 缺失比例小于5% | 会损失数据量 |
| 均值填充 | 短期缺失(几分钟) | 会降低数据方差 |
| 插值法 | 连续缺失(几小时) | 线性插值简单,但精度一般 |
| 模型预测 | 长期缺失(几天以上) | 需要额外建模,成本高 |
我个人习惯,对于发电量损失分析,缺失值尽量用插值法。因为直接删除会破坏时间序列的连续性,影响后续的功率曲线拟合。嗯,这里有个小技巧:如果缺失时间不长(比如10分钟以内),用前后两个点的平均值填充就行,又快又准。
2.4 数据标准化
数据标准化,就是把不同量纲的数据统一到同一个尺度上。比如风速是m/s,功率是kW,温度是℃,直接放一起没法比。标准化的目的,就是让不同特征的数据具有可比性。
常用的标准化方法有两种:
- Min-Max标准化:把数据缩放到[0,1]区间。公式是 (x - min) / (max - min)
- Z-score标准化:把数据转换成均值为0、标准差为1的分布。公式是 (x - mean) / std
在风电数据分析中,我建议用Z-score标准化。为什么?因为风速、功率这些数据往往不是均匀分布的,Min-Max标准化容易受极端值影响。而Z-score标准化对异常值不那么敏感,更适合后续的聚类、回归等分析。
举个例子:某风场风速数据,大部分在3~15m/s之间,但偶尔有20m/s以上的大风。如果用Min-Max标准化,大风数据会被压缩到很小的区间,导致模型学不到特征。而Z-score标准化,大风数据依然能保持相对较大的值。
2.5 知识体系总览
说了这么多,我画了一张图,把数据采集与预处理的整个流程串起来。你一看就明白了。
这张图把整个流程串起来了。从SCADA系统采集原始数据,经过频率和精度校验,再到数据清洗和标准化,最后得到高质量的数据集。每一步都环环相扣,缺一不可。
最后说一句:数据预处理虽然枯燥,但它是整个发电量损失分析的地基。地基打不牢,后面盖再高的楼也是白搭。我见过太多人,一上来就急着做功率曲线拟合、做损失计算,结果数据里全是坑,分析结论自然站不住脚。所以,别嫌麻烦,把这一步做扎实了。