数据采集与治理：SCADA数据、CMS数据、气象数据、数据清洗与标准化
大家好，我是老张，在风电行业摸爬滚打了十几年。今天咱们聊聊数据采集与治理这块。说实话，这是整个大数据变现的根基。根基不稳，后面再漂亮的算法都是空中楼阁。
我见过太多项目，一上来就搞高级预测模型，结果数据质量一塌糊涂，最后全白费。所以，咱们先把地基打牢。
一、三大核心数据源：SCADA、CMS、气象
风电场的核心数据，说白了就这三类。我习惯把它们比作人的三大系统：
- SCADA数据——相当于人的神经系统。它记录风机运行状态，比如功率、转速、温度、电压、电流等。采样频率一般是秒级或分钟级。
- CMS数据——相当于人的体检报告。它监测齿轮箱、轴承等关键部件的振动信号。采样频率很高，通常是kHz级别。
- 气象数据——相当于人所在的环境。风速、风向、温度、气压、湿度等。来源可以是测风塔、激光雷达，或者第三方气象服务。
这三类数据各有各的脾气。SCADA数据量大但结构规整，CMS数据频率高但存储成本大，气象数据则充满不确定性。嗯，这里要注意，千万别把它们混为一谈。
二、数据采集的坑与经验
我在项目中遇到过最头疼的事——数据采集断档。有一次，某个风场的SCADA系统因为网络故障，整整丢了三天数据。你想想看，三天啊，对于模型训练来说，这就是个灾难。
1. 主备双通道采集，网络和4G并行。
2. 本地缓存至少7天数据，防止网络中断。
3. 每15分钟做一次数据完整性校验。
对于CMS数据，我建议采用边缘计算预处理。别把所有原始振动数据都往云端传，那带宽成本你扛不住。在风机端做FFT变换，只传特征值，能省下90%的传输成本。
三、数据清洗：脏数据怎么处理？
数据清洗，说白了就是去伪存真。我总结了一套“三步走”策略：
- 异常值检测——比如风速突然从5m/s跳到50m/s，这明显是传感器故障。用3σ原则或箱线图就能筛出来。
- 缺失值处理——短时间缺失（<5分钟）用线性插值；长时间缺失（>1小时）直接标记为无效，别硬补。
- 重复值去重——有时候系统会重复记录同一时刻的数据，按时间戳去重就行。
下面是我常用的数据清洗代码片段，Python写的：
import pandas as pd
import numpy as np
# 读取SCADA数据
df = pd.read_csv('scada_data.csv', parse_dates=['timestamp'])
# 1. 异常值检测：风速超过60m/s或小于0
df = df[(df['wind_speed'] >= 0) & (df['wind_speed'] <= 60)]
# 2. 缺失值处理：短时间缺失用线性插值
df['power'] = df['power'].interpolate(method='linear', limit=5)
# 3. 标记长时间缺失
df['is_valid'] = True
df.loc[df['power'].isna(), 'is_valid'] = False
四、数据标准化：让不同数据源说同一种语言
数据标准化，说白了就是统一度量衡。SCADA数据的时间戳可能是UTC，CMS数据可能是本地时间，气象数据又是另一种格式。不统一的话，你根本没法做关联分析。
我建议采用以下标准化规则：
| 数据维度 | 标准化规则 | 示例 |
|---|---|---|
| 时间戳 | 统一为UTC+8，精度到秒 | 2024-01-15 14:30:00 |
| 风速 | 统一为m/s，保留两位小数 | 8.52 |
| 功率 | 统一为kW，保留整数 | 1500 |
| 振动 | 统一为mm/s，保留三位小数 | 0.025 |
五、知识体系总览
下面这张图，是我自己总结的数据采集与治理的核心逻辑。你看一眼就能明白整个流程：
你看，整个流程其实不复杂。但每一步都有讲究。数据采集要可靠，清洗要彻底，标准化要严格。这三步走扎实了，后面的数据分析、模型训练才能事半功倍。
我记得有一次，一个风场的数据质量特别差，清洗完只剩60%的有效数据。但就是这60%的数据，因为质量高，训练出来的模型反而比那些100%数据但质量差的模型准确得多。所以说，数据不在多，在于精。
好了，这一章就聊到这儿。数据采集与治理是基本功，但也是最容易被忽视的环节。希望你能重视起来，把地基打牢。