异常值检测：三种实战方法

做风电数据分析，最头疼的就是异常值。

我刚开始处理SCADA数据那会儿，经常被一些离谱的数值搞懵。风速显示89m/s？功率负值？温度传感器报出500度？这些明显是异常。但更多时候，异常值藏得很深，不仔细看根本发现不了。

今天咱们聊聊三种最常用的异常值检测方法。这三种方法我都在项目里实际用过，各有各的适用场景。

方法一：基于3σ原则

3σ原则，说白了就是假设数据服从正态分布。正常情况下，99.7%的数据会落在均值±3个标准差范围内。超出这个范围的，我就认为它是异常。

这个方法简单粗暴，但有个前提——数据得近似正态分布。风电数据里，风速、有功功率这些指标基本符合这个条件。

import numpy as np
import pandas as pd

def detect_outliers_3sigma(df, column):
    """
    基于3σ原则检测异常值
    """
    mean = df[column].mean()
    std = df[column].std()
    
    lower_bound = mean - 3 * std
    upper_bound = mean + 3 * std
    
    outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]
    
    print(f"列: {column}")
    print(f"均值: {mean:.2f}, 标准差: {std:.2f}")
    print(f"正常范围: [{lower_bound:.2f}, {upper_bound:.2f}]")
    print(f"检测到异常值: {len(outliers)} 个")
    
    return outliers

# 示例：检测风速异常
wind_data = pd.read_csv('wind_turbine_data.csv')
outliers = detect_outliers_3sigma(wind_data, 'wind_speed')

方法二：基于箱线图（IQR）

箱线图法不要求数据服从正态分布，鲁棒性更强。它用四分位数来定义异常边界。

具体来说：

• Q1：第一四分位数（25%分位）
• Q3：第三四分位数（75%分位）
• IQR = Q3 - Q1（四分位距）
• 正常范围：[Q1 - 1.5×IQR, Q3 + 1.5×IQR]

为什么会用1.5这个系数？这是统计学里的经验值。对于偏态分布的数据，这个系数效果不错。

def detect_outliers_iqr(df, column):
    """
    基于箱线图(IQR)检测异常值
    """
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR
    
    outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]
    
    print(f"列: {column}")
    print(f"Q1: {Q1:.2f}, Q3: {Q3:.2f}, IQR: {IQR:.2f}")
    print(f"正常范围: [{lower_bound:.2f}, {upper_bound:.2f}]")
    print(f"检测到异常值: {len(outliers)} 个")
    
    return outliers

# 对比两种方法
print("=== 3σ原则 ===")
outliers_3sigma = detect_outliers_3sigma(wind_data, 'active_power')

print("\n=== 箱线图法 ===")
outliers_iqr = detect_outliers_iqr(wind_data, 'active_power')

方法三：基于孤立森林

前面两种方法都是单变量的。但实际风电数据往往是多维的——风速、功率、温度、振动...这些变量之间有关系。孤立森林就是用来处理这种多维异常检测的。

孤立森林的原理很有意思。它随机切分数据空间，异常点因为"与众不同"，很快就会被孤立出来。正常点则需要更多次切分才能被孤立。

from sklearn.ensemble import IsolationForest

def detect_outliers_isolation_forest(df, features, contamination=0.05):
    """
    基于孤立森林检测异常值
    """
    model = IsolationForest(
        contamination=contamination,  # 预期异常比例
        random_state=42,
        n_estimators=100
    )
    
    # 训练模型
    df['anomaly_score'] = model.fit_predict(df[features])
    df['anomaly'] = df['anomaly_score'].map({1: 0, -1: 1})
    
    outliers = df[df['anomaly'] == 1]
    
    print(f"特征: {features}")
    print(f"预期异常比例: {contamination}")
    print(f"实际检测到异常: {len(outliers)} 个 ({len(outliers)/len(df)*100:.2f}%)")
    
    return outliers, model

# 多维特征检测
features = ['wind_speed', 'active_power', 'rotor_speed', 'generator_temp']
outliers_if, model = detect_outliers_isolation_forest(wind_data, features)

三种方法对比

方法	适用场景	优点	缺点
3σ原则	单变量，近似正态分布	简单快速，容易理解	对极端值敏感，要求正态分布
箱线图(IQR)	单变量，任意分布	鲁棒性强，不受极端值影响	阈值固定，可能漏检
孤立森林	多变量，复杂场景	能发现多维异常，无需假设分布	参数调优需要经验

知识体系图

下面这张图展示了三种方法的核心逻辑和适用场景：

实战建议

我个人习惯这样用：

1. 先做单变量检测：用3σ或IQR把明显离谱的数据筛掉。比如风速超过50m/s、功率为负值这些。
2. 再做多维检测：用孤立森林找那些"单看每个变量都正常，但组合起来不对劲"的异常。比如风速10m/s、功率却只有50kW，这明显不合理。
3. 结合业务判断：算法标记的异常不一定都是"坏数据"。有些可能是特殊工况，比如限功率运行、启停机过程。我一般会跟运维同事确认一下。

好了，三种方法都讲完了。你想想看，你的数据适合哪种方法？