第1章：数据采集与预处理——打好寿命预测的地基

各位工程师朋友，咱们直接进入正题。

材料寿命预测这件事，说白了就是跟数据打交道。你模型再牛，算法再花哨，数据质量不行，一切都是白搭。我做了十几年材料数据分析，见过太多项目栽在数据预处理这个环节上。今天咱们就把这块地基打牢。

1.1 传感器数据采集——你的第一手情报

传感器数据采集，是寿命预测的起点。我习惯把传感器比作材料的「听诊器」——它实时告诉你材料内部正在发生什么。

常见的传感器类型包括：

• 应变片：测量材料形变，疲劳寿命预测的标配
• 热电偶：监测温度变化，热老化分析必备
• 加速度计：捕捉振动信号，旋转机械寿命评估常用
• 声发射传感器：监听裂纹扩展的声音，早期预警利器

采集频率怎么定？我个人经验是：采样频率至少是目标信号最高频率的2.5倍。别死磕奈奎斯特的2倍，工程上留点余量更稳妥。我在做航空发动机叶片监测时，就吃过采样频率不够的亏——高频振动信号全丢了，后来重新布点才补回来。

1.2 缺失值处理——别让「空洞」毁了你的模型

现实中的数据很少是完美的。传感器掉线、通信中断、存储异常……都会导致数据缺失。你想想看，一个时间序列里突然少了几十个点，模型怎么学？

处理缺失值，我常用的方法有这几种：

方法	适用场景	我的评价
删除法	缺失比例 < 5%，且随机分布	简单粗暴，但别滥用
均值/中位数填充	数据波动不大，缺失较少	快速，但会降低方差
前向/后向填充	时间序列数据，变化缓慢	工程上最常用，我推荐
插值法	数据有趋势，缺失段不长	精度较高，但计算量大
模型预测填充	缺失比例高，数据复杂	效果好，但别过度拟合

代码示例——用前向填充处理传感器温度数据：

import pandas as pd
import numpy as np

# 模拟传感器温度数据，含缺失值
data = {'timestamp': pd.date_range('2024-01-01', periods=100, freq='1min'),
        'temperature': [25.3, 25.1, np.nan, 24.8, 24.9, np.nan, np.nan, 25.0, ...]}
df = pd.DataFrame(data)

# 前向填充——用上一个有效值填补
df['temperature_filled'] = df['temperature'].fillna(method='ffill')

# 检查填充效果
print(f"缺失值数量：{df['temperature'].isna().sum()} → {df['temperature_filled'].isna().sum()}")

1.3 异常值检测与处理——揪出那些「捣乱分子」

异常值，就是数据里的「害群之马」。传感器受干扰、人为操作失误、环境突变……都会产生异常值。如果不处理，模型会被它们带偏。

我常用的检测方法：

• 3σ原则：数据服从正态分布时，超出均值±3倍标准差的值视为异常。简单，但别乱用——材料数据很多不是正态的。
• 箱线图法：基于四分位数，不依赖分布假设。我比较推荐这个，鲁棒性好。
• 局部异常因子（LOF）：看一个点跟邻居的密度差异。适合高维数据，但计算慢。
• 移动窗口法：时间序列里，当前值偏离滑动窗口均值太多就标记。工程上很实用。

处理方式：

1. 删除：异常点少，且确认是噪声
2. 修正：用插值或邻近值替换
3. 标记：保留异常值，但加一个标签列告诉模型「这有问题」

代码示例——用箱线法检测应变数据异常：

import matplotlib.pyplot as plt

# 模拟应变数据
strain = np.random.normal(200, 20, 1000)
strain[50] = 500  # 人为加入异常

# 箱线法检测
Q1 = np.percentile(strain, 25)
Q3 = np.percentile(strain, 75)
IQR = Q3 - Q1
lower_bound = Q1 - 1.5 * IQR
upper_bound = Q3 + 1.5 * IQR

outliers = (strain < lower_bound) | (strain > upper_bound)
print(f"检测到 {np.sum(outliers)} 个异常值")

# 可视化
plt.figure(figsize=(10, 4))
plt.plot(strain, 'b.', label='原始数据')
plt.plot(np.where(outliers)[0], strain[outliers], 'r.', label='异常值')
plt.legend()
plt.show()

1.4 数据标准化与归一化——让所有特征「平起平坐」

材料数据里，不同特征的量纲差异可能很大。温度可能是0-1000℃，应变可能是0-0.01，振动加速度可能是0-100g。如果不做标准化，模型会天然偏向数值大的特征——这显然不合理。

两种主流方法：

方法	公式	输出范围	适用场景
Z-score标准化	x' = (x - μ) / σ	无固定范围，均值为0，标准差为1	数据近似正态分布，或使用SVM、PCA等模型
Min-Max归一化	x' = (x - min) / (max - min)	[0, 1]	数据有明确边界，或使用神经网络

代码示例——对多传感器数据做标准化：

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# 模拟多传感器数据：温度、应变、振动
sensor_data = np.array([
    [850, 0.002, 45.2],
    [852, 0.003, 47.1],
    [848, 0.001, 43.8],
    # ... 更多数据
])

# Z-score标准化
scaler_std = StandardScaler()
data_std = scaler_std.fit_transform(sensor_data)

# Min-Max归一化
scaler_mm = MinMaxScaler()
data_mm = scaler_mm.fit_transform(sensor_data)

print("标准化后均值（应接近0）：", np.mean(data_std, axis=0))
print("归一化后范围（应在0-1）：", data_mm.min(axis=0), data_mm.max(axis=0))

1.5 本章知识体系总览

下面这张图，把数据采集与预处理的完整流程串起来了。我建议你保存下来，做项目时对照着走一遍，能少踩很多坑。

数据预处理这件事，看起来琐碎，但真能决定一个项目的成败。我见过太多团队花几个月调模型，最后发现是数据没洗干净——白白浪费时间和算力。

记住一句话：垃圾进，垃圾出。把数据预处理做到位，你的寿命预测模型就已经成功了一半。

---

公众号:蓝海资料掘金营，微信deep3321