数据清洗基础：缺失值处理、异常值检测与重复数据处理

数据清洗这事儿，说白了就是给原始数据「洗澡」。我做了这么多年量化，见过太多人一上来就搞复杂模型，结果数据里全是坑，跑出来的结果根本没法看。今天咱们就把数据清洗最核心的三个问题讲透：缺失值、异常值、重复数据。

一、缺失值处理

缺失值在金融数据里太常见了。停牌、数据源中断、节假日，都会导致数据缺失。我个人习惯，拿到数据第一件事就是看缺失率。

1. 删除缺失值

最简单粗暴的方法。但要注意，不是所有情况都适合删。

• 行删除：当某行数据缺失太多，比如超过50%的字段都是空值，直接删掉这行
• 列删除：当某列缺失率极高，比如超过80%，这列基本没啥用了
• 条件删除：只删除关键字段缺失的行，比如股票代码、交易日期这些

import pandas as pd
import numpy as np

# 查看缺失率
df.isnull().sum() / len(df)

# 删除缺失率超过50%的列
df = df.dropna(thresh=len(df) * 0.5, axis=1)

# 删除关键字段缺失的行
df = df.dropna(subset=['stock_code', 'trade_date'])

2. 均值/中位数/众数填充

这是最常用的方法。但选哪个统计量，得看数据分布。

填充方法	适用场景	我的经验
均值填充	数据近似正态分布，无极端值	市盈率这类指标可以用，但要注意行业差异
中位数填充	数据有偏分布，存在异常值	我习惯用中位数，因为金融数据大多有偏
众数填充	分类变量，或离散型数据	行业分类、交易所代码这些用众数

# 均值填充
df['pe_ratio'] = df['pe_ratio'].fillna(df['pe_ratio'].mean())

# 中位数填充（我推荐这个）
df['pe_ratio'] = df['pe_ratio'].fillna(df['pe_ratio'].median())

# 按行业分组填充中位数
df['pe_ratio'] = df.groupby('industry')['pe_ratio'].transform(
    lambda x: x.fillna(x.median())
)

3. 前向/后向填充

时间序列数据里，前向填充特别实用。比如某天停牌，用前一天的数据填充，逻辑上说得通。

# 前向填充：用上一个有效值填充
df['close_price'] = df['close_price'].ffill()

# 后向填充：用下一个有效值填充
df['close_price'] = df['close_price'].bfill()

# 限制填充步数，最多向前填充3天
df['close_price'] = df['close_price'].ffill(limit=3)

为什么会限制步数？因为停牌太久，前向填充的数据就失真了。我一般限制在5个交易日以内。

二、异常值检测与处理

异常值在量化里是个双刃剑。它可能是数据错误，也可能是真正的市场异动。我见过有人把2015年股灾的数据当异常值删掉，结果模型在极端行情下完全失效。

1. 3σ原则

假设数据服从正态分布，超出均值±3倍标准差的值视为异常。这个方法简单，但金融数据很少是正态分布。

def detect_outliers_3sigma(data, col, n=3):
    mean = data[col].mean()
    std = data[col].std()
    lower = mean - n * std
    upper = mean + n * std
    return data[(data[col] < lower) | (data[col] > upper)]

# 找出异常值
outliers = detect_outliers_3sigma(df, 'daily_return')

# 处理：用上下限截断
df['daily_return'] = df['daily_return'].clip(lower, upper)

2. IQR方法

基于四分位距的方法，对数据分布没有严格要求。我个人更推荐这个。

def detect_outliers_iqr(data, col, multiplier=1.5):
    Q1 = data[col].quantile(0.25)
    Q3 = data[col].quantile(0.75)
    IQR = Q3 - Q1
    lower = Q1 - multiplier * IQR
    upper = Q3 + multiplier * IQR
    return data[(data[col] < lower) | (data[col] > upper)]

# 用1.5倍IQR检测
outliers = detect_outliers_iqr(df, 'volume')

# 用3倍IQR检测（更宽松）
outliers_strict = detect_outliers_iqr(df, 'volume', multiplier=3)

你想想看，IQR方法的好处是什么？它不受极端值影响。均值会被极端值拉偏，但中位数和四分位数很稳健。

3. 异常值处理策略

策略	做法	适用场景
删除	直接删除异常值所在行	明显的数据录入错误
截断	用上下限替换异常值	保留样本量，但限制极端影响
填充	用中位数或均值替换	异常值较少时
保留	不做处理，单独标记	异常值可能是有效信号

三、重复数据处理

重复数据看起来简单，但坑不少。我遇到过因为数据源重复推送，导致某只股票的成交量翻倍，因子计算全错了。

1. 完全重复

所有字段都一样的行，直接删除。

# 检查重复行
df.duplicated().sum()

# 删除完全重复的行
df = df.drop_duplicates()

2. 部分重复

关键字段重复，但其他字段不同。比如同一只股票在同一天有两条记录。

# 基于关键字段去重，保留第一条
df = df.drop_duplicates(subset=['stock_code', 'trade_date'], keep='first')

# 保留最后一条
df = df.drop_duplicates(subset=['stock_code', 'trade_date'], keep='last')

# 标记重复，看看差异
df['is_duplicate'] = df.duplicated(subset=['stock_code', 'trade_date'], keep=False)

四、知识体系总览

下面这张图，把数据清洗的核心逻辑串起来了。我建议你保存下来，每次做数据清洗前看一眼。

数据清洗没有标准答案，关键是根据业务场景选择合适的方法。我做了这么多年，最大的体会就是：理解数据比掌握方法更重要。你花时间搞清楚数据是怎么来的、缺失的原因是什么、异常值代表什么，比盲目套用各种方法要有效得多。