一、风电数据概述
做风电数据清洗这几年，我最大的感触就是——数据质量决定了分析的天花板。你算法再牛，模型再先进，喂进去一堆脏数据，出来的结果也是垃圾。今天咱们就聊聊风电数据的来源、特点，以及为什么清洗预处理这么重要。
1.1 风电数据从哪来？
风电数据不是单一来源，它是个「多源异构」的集合体。我最早接触这个领域时，也被各种系统搞晕过。说白了，主要就三大块：
SCADA系统
SCADA（数据采集与监视控制系统）是风机的「体检报告」。它每隔几秒到几分钟，就会记录一次风机的运行状态。包括：
- 电气参数：有功功率、无功功率、电压、电流、频率
- 机械参数：叶轮转速、发电机转速、桨距角、偏航角度
- 温度参数：齿轮箱油温、发电机绕组温度、轴承温度、机舱温度
- 状态参数：运行状态（发电/停机/待机/故障）、累计发电量、运行时长
嗯，这里要注意——SCADA数据虽然全面，但采样频率通常不高。我见过的大多数风场，SCADA采样间隔是10秒到1分钟。这意味着什么？意味着你很难捕捉到毫秒级的瞬态变化。
CMS系统
CMS（状态监测系统）是风机的「心电图」。它专门盯着关键部件的振动信号，用来做故障预警。主要监测对象：
- 齿轮箱：高速轴、中间轴、低速轴的振动
- 发电机：驱动端、非驱动端轴承振动
- 主轴：主轴承振动
CMS数据的采样频率很高，通常是几千赫兹甚至更高。我在项目中遇到过一个问题——CMS数据量太大了，一天就能产生几个GB。如果不做预处理，光存储成本就够你喝一壶的。
气象数据
气象数据是风机的「天气预报」。它决定了风机能发多少电。主要包括：
- 风速：平均风速、最大风速、最小风速
- 风向：平均风向、风向标准差
- 温度：环境温度、空气密度
- 其他：气压、湿度、湍流强度
气象数据通常来自机舱顶部的测风仪，或者风场内的测风塔。但这里有个坑——机舱测风仪会受到叶轮尾流的影响，测出来的风速往往偏低。我曾经处理过一个项目，机舱风速比测风塔低了15%以上，如果不做修正，功率曲线分析就全偏了。
核心要点：SCADA、CMS、气象数据，三者各有侧重，但必须融合使用。单独看任何一个系统，都只能看到「盲人摸象」的局部。
1.2 风电数据有什么特点？
搞了这么多年风电数据，我总结出四个字——又大又脏。具体来说：
高维度
一台风机就有上百个测点。一个中型风场50台风机，那就是5000多个变量。你想想看，这么多维度放在一起，相关性分析怎么做？特征选择怎么做？
我个人的习惯是，先做维度压缩。不是所有变量都有用。比如环境温度和环境湿度，相关性极高，保留一个就够了。再比如某些温度测点，变化趋势几乎一致，也可以合并。
时序性
风电数据是典型的时间序列数据。前一秒的数据，往往决定了下一秒的状态。这意味着：
- 你不能像处理表格数据那样，随便打乱顺序
- 时间戳的对齐和校准，是预处理的第一步
- 滞后效应、趋势性、季节性，都需要特殊处理
我记得有一次，客户拿来的数据时间戳是乱的——有的提前了2小时，有的延后了3分钟。如果不做时间对齐，后续的功率曲线分析根本没法做。
噪声多
风电现场的电磁环境很复杂，传感器也容易老化。数据里经常夹杂着：
- 尖峰噪声：突然跳变到异常值，然后又恢复正常
- 高频抖动：数据在正常范围内剧烈波动
- 趋势漂移：传感器老化导致测量值缓慢偏移
为什么会这样？说白了，风机在野外风吹日晒，传感器出点小毛病太正常了。你不能指望工业现场的数据像实验室里那么干净。
缺失值普遍
这是最让人头疼的问题。风机停机、通信中断、传感器故障，都会导致数据缺失。我统计过几个风场的数据，缺失率通常在5%~20%之间。有些极端情况，甚至超过30%。
缺失值怎么处理？不能一刀切。我的经验是：
- 连续缺失少于5个点：用插值法填充
- 连续缺失5~30个点：用相似日法或模型预测
- 连续缺失超过30个点：直接删除这段数据，别硬填
避坑指南：我曾经犯过一个错误——对所有缺失值都用均值填充。结果导致功率曲线分析时，低风速段出现了大量异常点。后来才发现，均值填充把停机状态的数据也「平均」进去了，完全扭曲了真实分布。
1.3 数据清洗与预处理为什么重要？
这个问题，我用一个真实案例来回答。
几年前，我帮一个风场做发电量提升分析。原始数据显示，某台风机在额定风速下，发电功率只有额定值的85%。运维团队怀疑是变桨系统出了问题，准备停机检修。
但我仔细看了数据后发现——不是设备问题，是数据问题。那台风机的风速传感器被鸟粪堵住了，测出来的风速比实际低了2m/s。换句话说，风机实际已经满发了，但数据记录显示还没到额定功率。
你想想看，如果没做数据清洗，直接按原始数据做决策，那就要白白停机检修，损失几十万的发电量。
数据清洗与预处理的核心价值，我总结为三点：
| 价值点 | 具体说明 | 我的亲身经历 |
|---|---|---|
| 提升数据质量 | 剔除异常值、填充缺失值、平滑噪声 | 有一次清洗后，数据可用率从72%提升到95% |
| 保证分析准确性 | 避免「垃圾进垃圾出」 | 功率曲线分析，清洗前后R²从0.65提升到0.92 |
| 降低运维成本 | 减少误报警、误停机 | 某风场清洗后，误报警率降低了40% |
我的建议：数据清洗不是一次性工作，而是需要持续迭代的过程。每次模型效果不好，先别急着调参，回头看看数据是不是又出了新问题。
本章知识体系
下面这张图，是我梳理的风电数据清洗与预处理的知识框架。你可以把它当作整个课程的地图：
这张图展示了整个课程的核心逻辑：从多源数据出发，理解数据特点，然后通过清洗预处理，最终得到高质量的数据集。后面的章节，我们会一步步拆解每个环节的具体方法。
公众号:蓝海资料掘金营，微信deep3321