缺失值处理：别让数据缺口毁了你的模型

做储能数据分析这些年，我踩过最大的坑就是缺失值。你想想看，一块电池的SOC数据突然跳变，或者某个温度传感器在关键时段掉线了——这些缺口如果不处理，模型训练出来就是个定时炸弹。

今天咱们就聊聊缺失值处理的四种主流方法。我个人习惯把它们分成两类：简单粗暴型和精细操作型。别急，咱们一个一个说。

一、删除法：最直接，但代价也最大

删除法分两种：行删除和列删除。说白了就是「眼不见为净」。

1.1 行删除

直接把包含缺失值的样本整行删掉。我在处理储能电站的日运行数据时经常用——如果某天的数据缺失超过30%，我一般直接删掉那天。为什么？因为补出来的数据反而会引入噪声。

import pandas as pd

# 行删除：删除任何包含缺失值的行
df_clean = df.dropna()

# 或者只删除缺失值超过3个的行
df_clean = df.dropna(thresh=len(df.columns) - 3)

1.2 列删除

当某个特征缺失太多，比如超过70%，我通常会直接删掉这一列。你想想看，一个传感器坏了三天，补出来的数据能信吗？

# 列删除：删除缺失率超过70%的列
missing_ratio = df.isnull().mean()
cols_to_drop = missing_ratio[missing_ratio > 0.7].index
df_clean = df.drop(columns=cols_to_drop)

二、填充法：给数据「补钙」

填充法是我用得最多的方法。它不像删除法那么暴力，也不像模型预测那么复杂。说白了就是找个合理的值填进去。

2.1 均值/中位数填充

对于数值型特征，均值和中位数是最简单的选择。但这里有个坑：如果数据分布偏态严重，均值会被拉偏。我一般先画个分布图看看。

# 均值填充
df['feature'] = df['feature'].fillna(df['feature'].mean())

# 中位数填充（推荐用于有异常值的情况）
df['feature'] = df['feature'].fillna(df['feature'].median())

2.2 前向填充

时间序列数据的好朋友。比如SOC数据，前一秒是80%，下一秒缺失了，用80%填充很合理。但要注意：如果缺失时间太长，前向填充会引入滞后误差。

# 前向填充：用上一个有效值填充
df['soc'] = df['soc'].fillna(method='ffill')

# 限制最大填充步数（比如最多填充3步）
df['soc'] = df['soc'].fillna(method='ffill', limit=3)

2.3 插值法

插值法比前向填充更聪明。它不只是用上一个值，而是根据前后数据点「画一条线」来估算缺失值。线性插值是最常用的，但如果是周期性数据（比如日负荷曲线），我会用样条插值。

# 线性插值
df['temperature'] = df['temperature'].interpolate(method='linear')

# 时间插值（考虑时间间隔）
df['temperature'] = df['temperature'].interpolate(method='time')

三、基于模型预测填充：让数据自己「说话」

当数据缺失模式复杂，简单填充搞不定时，就该上模型了。这里介绍两种主流方法：KNN和MICE。

3.1 KNN填充

KNN填充的思路很简单：找到和当前样本最相似的K个邻居，用它们的平均值来填充缺失值。我在处理储能系统的多传感器数据时经常用——因为不同传感器之间往往有相关性。

from sklearn.impute import KNNImputer

# KNN填充（K=5）
imputer = KNNImputer(n_neighbors=5)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

3.2 MICE填充

MICE（多重链式方程填充）是目前公认最稳健的方法之一。它的核心思想是：把每个有缺失的特征当作目标变量，用其他特征来预测它。然后迭代多次，直到收敛。

# 使用fancyimpute库（需要安装）
from fancyimpute import IterativeImputer

# MICE填充
imputer = IterativeImputer(max_iter=10, random_state=42)
df_imputed = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

四、方法选择指南

说了这么多，到底该用哪种？我整理了一个表格，方便你快速决策。

缺失比例	缺失机制	推荐方法	备注
< 5%	随机缺失	行删除 或 均值填充	简单快速，影响小
5% - 20%	随机缺失	中位数填充 或 插值法	注意数据分布
20% - 50%	非随机缺失	KNN 或 MICE	计算量较大
> 50%	任意	列删除	补了也不可信
时间序列	连续缺失	前向填充 或 插值法	注意缺失长度

五、知识体系总览

下面这张图帮你理清缺失值处理的整体脉络。我画了张SVG图，把四种方法的关系和适用场景串起来了。

六、实战建议

最后，分享几条我这些年总结出来的经验：

• 先分析缺失模式：别急着处理。先看看缺失是随机的还是系统性的。如果是传感器故障导致的系统性缺失，填充法可能不管用。
• 保留缺失标记：我习惯在填充前先加一列「是否缺失」的标记。有时候缺失本身就是一个重要特征——比如某个传感器频繁掉线，可能说明设备有问题。
• 验证填充效果：填充完后，一定要对比填充前后的分布。如果分布变了，说明填充方法有问题。
• 别过度工程：有时候简单方法就够了。我见过有人用MICE处理只有2%缺失的数据，结果花了半小时，效果和均值填充差不多。

---