3. 数据采集与治理：SCADA数据、CMS数据、气象数据的标准化与清洗
各位同行，咱们今天聊点实在的。数据采集与治理，说白了就是给风电场“把脉问诊”的第一步。你想想看，如果连基础数据都是脏的、乱的、不统一的，后面那些高大上的数字孪生、智能预警，全都是空中楼阁。我个人习惯把这一步叫做“地基工程”，地基不牢，地动山摇。
核心观点：数据治理不是一次性工作，而是一个持续迭代的过程。我见过太多风电场花大价钱上了系统，结果因为数据质量差，最后沦为摆设。
3.1 三大数据源的“脾气秉性”
咱们风电场的数据，主要来自三个地方：SCADA、CMS和气象站。这三兄弟各有各的脾气，你得摸透了才能驯服它们。
| 数据源 | 采集频率 | 数据量级 | 典型问题 |
|---|---|---|---|
| SCADA | 秒级~分钟级 | 中等 | 通信中断、死值、跳变 |
| CMS | 高频（kHz级） | 巨大 | 噪声干扰、传感器漂移 |
| 气象数据 | 分钟级~小时级 | 较小 | 缺失值、空间代表性差 |
SCADA数据，也就是监控与数据采集系统。它记录的是机组运行状态，比如功率、转速、温度这些。嗯，这里要注意，SCADA数据最容易出现的问题是“死值”——就是某个参数连续几个小时都不变。我在项目中遇到过一台机组，温度传感器卡在25°C整整三天，要不是做数据清洗时发现了，运维人员还以为机组运行得挺好呢。
CMS数据，振动监测数据。这玩意儿数据量最大，频率最高。说白了，它就像给机组做心电图，能提前发现齿轮箱、轴承的早期故障。但问题也来了——噪声干扰特别严重。我曾经处理过一个项目，CMS数据里混入了大量的电磁干扰信号，如果不做滤波处理，误报警率能到80%以上。
气象数据，主要是风速、风向、温度、气压这些。气象数据看着简单，但坑也不少。最典型的就是测风塔数据和机舱风速计数据不一致。你想想看，测风塔在100米高度测的风速，和机舱后面80米高度测的，能一样吗？所以标准化处理时，必须考虑高度修正和地形影响。
3.2 数据标准化：让“方言”变成“普通话”
不同厂家、不同型号的机组，数据格式千差万别。有的用Modbus协议，有的用OPC UA，还有的用私有协议。我建议，第一步就是建立统一的数据字典。
我的经验：数据字典里至少包含：参数名称、单位、数据类型、有效范围、采集频率、数据来源。别嫌麻烦，这一步做好了，后面能省80%的沟通成本。
举个例子，同样是“有功功率”，金风叫“ActivePower”，远景叫“P_ACT”，维斯塔斯叫“GridPower”。如果不做映射，你根本没法做横向对比。我个人习惯用一套标准命名规则，比如“WT001_ActivePower_kW”，一目了然。
标准化还包括时间戳对齐。SCADA数据可能是秒级，CMS是毫秒级，气象数据是分钟级。怎么对齐？我一般用“向下采样”法，把所有数据统一到分钟级。当然，如果你要做高频故障诊断，那就得用“向上采样”了，但要注意插值方法的选择。
# 时间戳对齐示例（Python伪代码）
import pandas as pd
# 将SCADA数据重采样到分钟级
scada_resampled = scada_df.resample('1T').mean()
# 将CMS数据降采样到分钟级（取最大值，保留冲击特征）
cms_resampled = cms_df.resample('1T').max()
# 气象数据直接对齐
weather_aligned = weather_df.reindex(scada_resampled.index, method='nearest')
3.3 数据清洗：去伪存真
数据清洗，说白了就是“挑毛病”。我总结了四个最常见的“毛病”：
- 缺失值处理：通信中断、传感器故障都会导致数据缺失。我的原则是：连续缺失不超过5个点，用线性插值；超过5个点，直接标记为无效时段。
- 异常值检测：比如风速突然从5m/s跳到25m/s又跳回来，这明显是传感器故障。我习惯用“3σ原则”加“变化率阈值”双重检测。
- 死值检测：某个参数连续N个点数值不变，大概率是传感器卡死了。这个阈值我一般设成10个连续点。
- 重复数据：有时候数据采集系统会重复发送同一帧数据。这个简单，按时间戳去重就行。
避坑指南：我曾经在一个项目里，直接用均值填充了所有缺失值，结果导致后续的功率曲线分析完全失真。后来我才明白，缺失值填充必须考虑工况——停机状态下的缺失和运行状态下的缺失，处理方式完全不同。
3.4 数据治理的核心逻辑
说了这么多，咱们用一张图来总结一下数据治理的完整流程。这张图是我自己画的，基本覆盖了从原始数据到可用数据的全过程。
你看，整个流程是层层递进的。从原始数据进来，先做标准化，再做清洗，最后进入治理环节。每一步都有对应的技术手段和质量要求。
3.5 实战中的几个“坑”
最后，我分享几个实战中踩过的坑，希望能帮大家少走弯路。
- 坑一：忽略数据时序特性。风电场数据是典型的时间序列数据，不能用普通的关系数据库来处理。我建议用时序数据库，比如InfluxDB或TimescaleDB，查询效率能提升10倍以上。
- 坑二：过度清洗。有些同事为了追求数据“干净”，把很多边缘数据都删掉了。结果呢？一些早期故障特征也被删掉了。我的原则是：保留原始数据，清洗后的数据另存一份。
- 坑三：忽视数据质量监控。数据治理不是一锤子买卖。我习惯在数据管道里加一个质量监控模块，每天自动生成数据质量报告。一旦发现异常，立刻告警。
一个小技巧：在做数据清洗时，可以先用可视化工具（比如Grafana）把原始数据画出来。肉眼一看，很多问题就暴露了。我每次做新项目，第一件事就是画数据曲线，比看表格直观多了。
好了，关于数据采集与治理，今天就聊到这儿。记住一句话：数据质量决定了你的分析天花板。把这一步做扎实了，后面的降本增效才有根基。