4. 数据质量评估：缺失值统计、异常值初步识别、重复值检测、数据一致性检查

数据清洗之前，咱们得先摸个底。

说白了，就是看看这批数据到底有多「脏」。我个人的习惯是，拿到风场数据后，第一件事不是急着写清洗代码，而是先做一轮质量评估。你想想看，连数据烂到什么程度都不知道，就开始动手洗，很容易洗过头或者漏掉关键问题。

4.1 缺失值统计

风电数据里，缺失值太常见了。传感器故障、通讯中断、停机维护，都会导致数据没记上。

我一般用两个指标来衡量缺失情况：

• 缺失率：缺失值占总数据量的比例
• 缺失模式：是随机缺失，还是连续一大段缺失

举个例子，某台风机SCADA系统每10分钟记录一次数据。如果某天通讯断了，那当天144条记录全没了。这种连续缺失，比随机缺失几个点要严重得多。

# 快速统计缺失值
import pandas as pd

df = pd.read_csv('wind_turbine_data.csv')
missing_count = df.isnull().sum()
missing_rate = missing_count / len(df) * 100

print("各字段缺失率：")
print(missing_rate[missing_rate > 0].sort_values(ascending=False))

4.2 异常值初步识别

异常值，就是那些明显不合常理的数据点。

比如风速显示-5m/s，或者功率在风速20m/s时突然飙到额定功率的2倍。这些数据，要么是传感器抽风，要么是传输过程出了错。

我常用的初步识别方法有3种：

1. 物理阈值法：根据设备参数设定合理范围。比如风速0~40m/s，功率0~额定功率×1.1
2. 统计法：用3σ原则或箱线图，找出离群点
3. 变化率法：相邻两个点的变化幅度不能太离谱

# 物理阈值法示例
def flag_anomalies(df):
    # 风速合理范围：0~40 m/s
    wind_flag = (df['wind_speed'] < 0) | (df['wind_speed'] > 40)
    
    # 功率合理范围：0~额定功率×1.1
    rated_power = 2000  # kW
    power_flag = (df['active_power'] < 0) | (df['active_power'] > rated_power * 1.1)
    
    df['is_anomaly'] = wind_flag | power_flag
    return df

4.3 重复值检测

重复数据，在风电里其实比想象中常见。

我记得有一次，某风场的数据采集系统因为网络抖动，同一时刻的数据被重复上传了3次。如果不处理，后续的功率曲线分析就会出问题。

重复值分两种：

• 完全重复：所有字段都一样
• 部分重复：时间戳相同，但其他字段略有差异

对于时间序列数据，我建议重点检查时间戳是否唯一。因为风电数据是按时间对齐的，时间戳重复意味着数据打架。

# 检测重复时间戳
duplicated_timestamps = df[df.duplicated(subset=['timestamp'], keep=False)]
print(f"重复的时间戳数量：{len(duplicated_timestamps)}")

# 查看具体重复情况
if len(duplicated_timestamps) > 0:
    print(duplicated_timestamps.head(10))

4.4 数据一致性检查

一致性检查，说白了就是看数据之间有没有「打架」。

比如：

• 风速为0，但功率不为0 → 不合理
• 风机处于停机状态，但发电量还在增加 → 矛盾
• 温度传感器显示-50℃，但该地区历史最低温才-20℃ → 异常

我一般会建立一些业务规则来检查：

检查项	规则	示例
风速-功率一致性	风速=0时，功率应为0	风速0.1m/s，功率500kW → 异常
状态-数据一致性	停机状态时，发电量不应增加	状态码=停机，功率=200kW → 异常
时序逻辑一致性	时间戳不能倒流	后一条记录时间早于前一条 → 异常

# 一致性检查示例
def consistency_check(df):
    # 规则1：风速为0时功率应为0
    mask1 = (df['wind_speed'] < 0.1) & (df['active_power'] > 10)
    
    # 规则2：停机状态功率应为0
    mask2 = (df['status'] == 'stopped') & (df['active_power'] > 10)
    
    df['consistency_flag'] = mask1 | mask2
    return df