第4章数据预处理基础

第4章：数据预处理基础——缺失值处理、异常值检测、标准化与时间戳对齐

各位同学，欢迎来到数据预处理这一章。

说实话，在仪器分析这个行当里摸爬滚打这么多年，我最大的体会就是：数据预处理花的时间，往往比正式分析还要多。你想想看，传感器采集回来的原始数据，就像刚从工地拉回来的毛坯房——里面什么都有，灰尘、杂物、甚至还有几块歪掉的砖。直接拿来做分析？那结果肯定一塌糊涂。

我个人习惯，拿到任何一批数据，第一件事就是做预处理。今天咱们就把这块硬骨头啃下来。

4.1 缺失值处理——别让“空洞”毁了你的分析

先说说缺失值。仪器偶尔掉线、通信丢包、传感器瞬间失灵，这些都会导致数据出现空洞。我在项目里遇到过最夸张的一次，一台气相色谱仪因为网线接触不良，连续3个小时的数据全是NaN。嗯，当时排查了好久才发现。

处理缺失值，常用的方法就这几种：

直接删除：如果缺失比例很小（比如不到5%），而且随机分布，直接删掉最省事。但要注意，别把关键时间点的数据删了。
均值/中位数填充：用该列的平均值或中位数去填补。适合数据波动不大的场景，比如恒温箱的温度记录。
前向/后向填充：用上一个或下一个有效值填充。这个在时间序列里特别常用，比如压力传感器突然跳变了一下，用前一秒的值补上，逻辑上说得通。
插值法：线性插值、样条插值，精度更高，但计算量也大。我个人偏好这个，尤其是处理光谱数据时。

核心原则：缺失值处理没有银弹。你得先搞清楚数据为什么缺失，再决定怎么补。盲目填充，有时候比不填充更糟糕。

import pandas as pd
import numpy as np

# 模拟一组有缺失的数据
data = pd.Series([1.2, np.nan, 1.4, 1.3, np.nan, 1.5, 1.6])

# 前向填充
data_ffill = data.ffill()
print("前向填充:", data_ffill.tolist())

# 线性插值
data_interp = data.interpolate(method='linear')
print("线性插值:", data_interp.tolist())

4.2 异常值检测——揪出那些“不听话”的数据点

异常值，说白了就是数据里的“刺头”。可能是传感器瞬间受到干扰，也可能是样品本身就有问题。怎么揪出来？我常用的两把刀：3σ原则和IQR（四分位距）。

4.2.1 3σ原则——正态分布的“紧箍咒”

这个原理很简单：如果数据服从正态分布，那么99.7%的数据会落在均值±3个标准差之内。落在外面？那大概率是异常值。

但注意，3σ原则对离群值非常敏感。为什么？因为均值本身会被异常值拉偏。我曾经处理一批振动数据，里面有几个特别大的尖峰，结果用3σ一算，标准差变得巨大，反而把真正的异常给掩盖了。这是个坑，大家要记住。

def detect_outliers_3sigma(data):
    mean = np.mean(data)
    std = np.std(data)
    lower = mean - 3 * std
    upper = mean + 3 * std
    outliers = data[(data < lower) | (data > upper)]
    return outliers

# 示例
data = np.array([10, 12, 11, 13, 12, 100, 11, 12, 13])
outliers = detect_outliers_3sigma(data)
print("3σ检测到的异常值:", outliers)

4.2.2 IQR方法——更稳健的选择

IQR方法就不一样了。它用中位数和四分位数，不受极端值影响。具体来说：

计算Q1（25%分位数）和Q3（75%分位数）
IQR = Q3 - Q1
正常范围：[Q1 - 1.5*IQR, Q3 + 1.5*IQR]

超出这个范围的，就是异常值。我个人更偏爱IQR，尤其是在处理非正态分布的数据时，比如流量计的数据，经常是偏态的，用3σ就不太灵了。

避坑指南：我曾经在分析水质监测数据时，用3σ检测出了几十个“异常值”，结果发现是数据本身有周期性波动。后来改用IQR，结合滑动窗口，才真正把传感器故障导致的异常给揪出来。所以，方法要选对，窗口大小也要调。

def detect_outliers_iqr(data):
    Q1 = np.percentile(data, 25)
    Q3 = np.percentile(data, 75)
    IQR = Q3 - Q1
    lower = Q1 - 1.5 * IQR
    upper = Q3 + 1.5 * IQR
    outliers = data[(data < lower) | (data > upper)]
    return outliers

outliers_iqr = detect_outliers_iqr(data)
print("IQR检测到的异常值:", outliers_iqr)

4.3 数据标准化与归一化——让不同量纲的数据“平起平坐”

你想想看，温度是几十度，压力是几百千帕，浓度是百万分之几。这些数据放在一起，如果不做处理，量级大的变量会直接主导分析结果。这显然不合理。

标准化和归一化，就是解决这个问题的。

方法	公式	适用场景
Z-score标准化	(x - μ) / σ	数据近似正态分布，需要保留异常值信息
Min-Max归一化	(x - min) / (max - min)	数据有明确边界，比如0-100%的浓度

我个人习惯：如果后续要用PCA或聚类，我首选Z-score标准化。如果只是简单做个可视化，或者数据本身范围固定，Min-Max更直观。

from sklearn.preprocessing import StandardScaler, MinMaxScaler

data = np.array([[1.0], [2.0], [3.0], [4.0], [5.0]])

# Z-score标准化
scaler_std = StandardScaler()
data_std = scaler_std.fit_transform(data)
print("标准化后:", data_std.flatten())

# Min-Max归一化
scaler_mm = MinMaxScaler()
data_mm = scaler_mm.fit_transform(data)
print("归一化后:", data_mm.flatten())

注意：标准化和归一化，一定要先拆分训练集和测试集，然后用训练集的参数去变换测试集。千万别把测试集的数据混进来算均值和标准差，否则会造成数据泄露，模型评估结果会虚高。这个错误我见过太多新手犯了。

4.4 时间戳对齐——让不同仪器“说同一种时间语言”

最后说说时间戳对齐。多台仪器同时采集数据，它们的时钟可能不同步。有的快几秒，有的慢几毫秒。如果不做对齐，后续的相关性分析全是错的。

我记得有一次做多通道振动测试，一台采集卡的时间戳是Unix时间戳（秒级），另一台是字符串格式（"2024-01-15 10:30:25.123"）。光是把它们统一格式，就花了我半天时间。

对齐的步骤一般是：

统一时间格式：全部转为datetime类型
设置时间索引：以时间列为索引
重采样：统一到相同的时间频率（比如1秒、0.1秒）
插值对齐：对于缺失的时间点，用插值填补

import pandas as pd

# 模拟两台仪器的时间序列
t1 = pd.date_range('2024-01-01 00:00:00', periods=10, freq='1s')
t2 = pd.date_range('2024-01-01 00:00:00.5', periods=10, freq='1s')  # 偏移0.5秒

data1 = pd.Series(np.random.randn(10), index=t1)
data2 = pd.Series(np.random.randn(10), index=t2)

# 对齐到整秒
aligned = pd.concat([data1, data2], axis=1).interpolate()
print("对齐后的数据:\n", aligned.head())

实战经验：时间戳对齐这件事，最好在采集阶段就做好。比如所有仪器都用NTP（网络时间协议）同步时钟。如果做不到，那就只能在软件层面做后处理对齐了。后处理对齐时，插值方法的选择很关键。对于缓慢变化的信号（如温度），线性插值就够了；对于快速变化的信号（如振动），建议用样条插值或更高级的方法。

好了，数据预处理的基础就讲到这里。这四块内容——缺失值、异常值、标准化、时间戳对齐——是后续所有分析工作的基石。你想想看，如果地基没打好，上面盖的房子再漂亮也是危房。下一章，咱们开始讲滤波算法，那才是真正考验功力的地方。

📚 课程目录