SCADA数据解析与预处理：打好风机健康管理的地基
各位同行，大家好。我是老张，在风电圈摸爬滚打了十几年。今天咱们开始聊《风机健康管理指标构建与阈值设定》这门课。说实话，很多朋友一上来就急着建模型、设阈值，结果数据质量不行，后面全白干。所以这第一课，咱们得把地基打牢——SCADA数据解析与预处理。
SCADA系统，说白了就是风机的“黑匣子”加“体检仪”。它每分钟都在记录风机的状态。我见过太多项目，数据拿过来直接用，结果模型跑出来全是错的。嗯，这里要注意，数据预处理花的时间，往往比建模还多。但这是值得的。
核心观点：数据质量决定了模型的天花板。预处理不是“洗数据”，而是“还原真相”。
SCADA系统简介：它到底在记录什么？
SCADA全称是“数据采集与监视控制系统”。在风场里，它就像个不知疲倦的哨兵。每个风机上都有几十个传感器，温度、振动、转速、功率、风速……这些信号通过PLC（可编程逻辑控制器）汇总，再传到中控室。
我个人习惯把SCADA数据分成三类：
- 状态量：比如“运行”、“停机”、“故障”。这类数据是离散的，告诉你风机在干嘛。
- 模拟量：比如齿轮箱温度、发电机转速、有功功率。这是连续变化的数值，是健康分析的主力。
- 累计量：比如发电量、运行小时数。这类数据只增不减，用来算寿命和效率。
我在项目中遇到过一件事：有个风场连续几个月报“齿轮箱高温”，但每次巡检都没问题。后来一查，是SCADA系统里温度传感器的量程设错了。你看，数据源头就错了，后面再怎么分析都是白搭。
数据采集频率与标签：别被“高频”忽悠了
很多厂家宣传“我们SCADA是1秒级采集”。听起来很厉害，对吧？但实际呢？
我给大家拆解一下：
| 采集频率 | 典型场景 | 我的建议 |
|---|---|---|
| 1秒级 | 振动、瞬时功率 | 适合做故障诊断，但数据量巨大，存储成本高 |
| 10秒级 | 温度、转速 | 日常健康监测的黄金频率 |
| 分钟级 | 发电量、风速均值 | 适合做性能评估，但会丢失瞬态信息 |
你想想看，如果做齿轮箱故障预警，用分钟级数据基本等于“盲人摸象”。但反过来，如果只是看月发电量，1秒级数据就是浪费硬盘。
再说说标签。SCADA数据里每个点都有个“标签名”，比如“WT01_GEAR_TEMP”。我见过最乱的标签命名，同一个风场里，有的叫“GearTemp”，有的叫“齿轮箱温度”，还有的叫“TEMP_GEAR_01”。
我的经验：拿到数据第一件事，先建一个“标签字典”。把每个标签的中文名、单位、量程、采集频率都列清楚。这一步花2小时，后面能省20小时。
数据清洗：缺失值、异常值、噪声处理
这才是重头戏。原始SCADA数据，说白了就是“脏活累活”。我处理过的数据里，几乎没有一份是干净的。
缺失值处理
为什么会缺失？原因很多：传感器坏了、通讯中断、存储满了……我见过最夸张的，一个风场因为交换机故障，整整一周的数据全是空的。
处理方法，我一般分三步走：
- 先看缺失比例。如果某个变量缺失超过30%，我建议直接放弃这个变量。别硬补，补出来的都是假的。
- 再看缺失模式。是随机缺失？还是连续缺失？如果是连续缺失超过10个点，说明传感器可能真坏了。
- 最后选补法。我个人习惯：短时间缺失（1-3个点）用线性插值；长时间缺失用前向填充，但一定要打标记。
# 这是我常用的缺失值处理代码片段
import pandas as pd
import numpy as np
def clean_scada_missing(df, col, max_gap=5):
"""
df: 数据框
col: 要处理的列名
max_gap: 允许连续缺失的最大点数
"""
# 标记连续缺失
mask = df[col].isna()
groups = mask.ne(mask.shift()).cumsum()
# 对每个连续缺失段处理
for group_id in groups[mask].unique():
idx = groups == group_id
gap_len = idx.sum()
if gap_len <= max_gap:
# 短缺失，线性插值
df.loc[idx, col] = df[col].interpolate(method='linear')
else:
# 长缺失，前向填充并标记
df.loc[idx, col] = df[col].ffill()
df.loc[idx, 'flag_missing'] = 1
return df异常值处理
异常值分两种：一种是“真异常”，比如传感器坏了，读数飙到1000度；另一种是“假异常”，其实是工况变化导致的。
我曾经遇到过一个案例：某风机齿轮箱温度突然从60度跳到120度，运维人员吓得直接停机。结果一查，是风速突然从5m/s飙到25m/s，功率从500kW冲到2000kW。温度升高是正常的物理现象，不是故障。
避坑指南：千万不要用“3倍标准差”这种粗暴方法去筛异常值。风电数据是非平稳的，工况一变，均值、标准差全变了。我建议用“滑动窗口+局部异常因子”的方法。
我的处理流程：
- 第一步：按工况分段。比如按风速区间（0-5m/s, 5-10m/s, 10-15m/s...）把数据分组。
- 第二步：在每个工况组内，用IQR（四分位距）法识别异常。超出Q3+1.5*IQR或Q1-1.5*IQR的点，标记为候选异常。
- 第三步：人工复核。别全信算法，有些异常其实是新工况。
噪声处理
SCADA数据里的噪声，主要是传感器本身的精度限制和电磁干扰。你想想看，一个温度传感器，精度是±0.5度，那它读出来的数据在59.5到60.5之间跳动，这很正常。
我常用的降噪方法：
- 移动平均：简单有效，但会丢失突变信息。窗口大小我一般取5-10个点。
- 中值滤波：对尖峰噪声效果好，适合处理振动信号。
- 小波降噪：效果最好，但计算量大。我一般只在做故障诊断时用。
嗯，这里要注意：降噪别过度。你把噪声全滤掉了，可能把早期故障的微弱信号也滤掉了。我个人的原则是“能少动就少动”，只处理那些明显是噪声的点。
数据标准化与重采样：让数据“对齐”
标准化，说白了就是把不同量纲的数据拉到同一个尺度上。比如温度是0-100度，功率是0-2000kW，如果不标准化，模型会天然地“偏爱”数值大的变量。
我常用的两种方法：
| 方法 | 公式 | 适用场景 |
|---|---|---|
| Z-score标准化 | (x - μ) / σ | 数据近似正态分布时 |
| Min-Max归一化 | (x - min) / (max - min) | 数据有明确边界时（如温度、转速） |
我个人习惯：对于温度、振动这类物理量，用Min-Max归一化，因为它们的物理边界是明确的。对于功率、风速这类分布不均匀的量，用Z-score。
再说重采样。SCADA数据采集频率往往不一致。比如振动数据是1秒级，温度数据是10秒级。你要做联合分析，就必须把它们对齐到同一个时间轴上。
重采样的原则：
- 降采样：从高频到低频。比如把1秒级数据降成10秒级。方法用均值或最大值。我一般用均值，因为能保留整体趋势。
- 升采样：从低频到高频。比如把分钟级数据升成秒级。方法用插值。但说实话，升采样是“无中生有”，能不用就不用。
我的建议：在做健康管理时，统一用10秒级数据。这个频率既能捕捉到大部分故障特征，数据量又不会太大。我做过对比，10秒级和1秒级在故障预警效果上，差异不到5%，但数据量差了60倍。
本章知识体系总览
说了这么多，我画了张图，把这一章的核心逻辑串起来。你一看就明白了。
这张图把整个流程串起来了。从原始数据开始，经过采集与标签、数据清洗、标准化与重采样三个环节，最终得到高质量的可用于健康分析的数据。每一步都有坑，每一步都需要经验。
好了，这一章就到这里。数据预处理是个细致活，急不得。你把这些基础打牢了，后面建指标、设阈值，才能事半功倍。