第4章数据采集与预处理

第4章：数据采集与预处理——电压/电流/温度传感器标定、数据清洗、异常值检测、时间戳对齐

好，咱们进入正题。数据采集与预处理，说白了就是给SOH模型「喂饭」的第一步。饭要是馊了，模型再牛也白搭。我见过太多团队，模型算法搞得花里胡哨，结果数据一塌糊涂，最后全白干。嗯，咱们今天就把这顿饭做干净。

4.1 传感器标定：别让硬件骗了你

传感器标定，听起来挺学术，其实就是「校准」。你想想看，一个电压传感器，出厂时误差±5mV，用了一年可能漂到±20mV。不标定，你采集的数据就是「假数据」。

标定的核心思路：用高精度参考源，对比传感器读数，建立映射关系。

我个人习惯，先做静态标定，再做动态标定。静态标定就是给传感器一个稳定的输入，比如用精密电源给BMS输入一个准确的3.3V，看传感器读出来是多少。动态标定则是在充放电过程中，用高速数据采集卡同步记录。

标定流程（我常用的三步法）：

零点校准：传感器无输入时，记录偏移量。比如电流传感器，断开负载时读数应为0，实际可能有个小偏移。
满量程校准：输入已知标准值，比如5V、10A、60°C，记录传感器输出。
线性度补偿：多点采样，拟合曲线。我一般取5-7个点，用最小二乘法做线性回归。

这里有个坑，我曾经踩过。有一次项目里，电压传感器标定完，数据还是不准。查了半天，发现是温度补偿没做。传感器在高温下漂移很厉害，尤其是电流传感器。所以标定一定要在电池实际工作温度范围内做，别只在25°C的实验室里搞。

4.2 数据清洗：把脏数据筛出去

数据清洗，说白了就是「去杂质」。BMS采集的数据，什么稀奇古怪的噪声都有。电磁干扰、通信丢包、ADC采样抖动……你不洗，模型学到的就是噪声。

我常用的清洗策略：

缺失值处理：如果缺失率低于5%，用前后均值填充。高于5%，直接丢弃该段数据。别用插值法硬补，会引入假模式。
重复值去重：时间戳完全相同的记录，保留第一条。注意，有些BMS会连续发相同数据，那是通信协议问题，不是真重复。
格式统一：电压统一用V，电流用A，温度用°C。别混着用，我见过有人把mV当V用，模型直接崩了。

我的小技巧：清洗前先画个数据分布直方图。一眼就能看出哪些值明显不合理。比如电压突然跳到10V，那肯定是传感器抽风了。

4.3 异常值检测：揪出那些「坏点」

异常值检测，是数据预处理里最考验经验的一步。为什么？因为电池数据本身就有很多「看似异常但实际正常」的情况。比如大电流放电时电压骤降，那不是异常，是物理规律。

我常用的检测方法：

方法	适用场景	注意事项
3σ原则	正态分布的数据（如静置电压）	充放电过程不适用，数据非正态
IQR四分位法	偏态分布的数据（如电流）	对尾部数据敏感，需结合业务判断
滑动窗口法	时序数据（如温度变化率）	窗口大小要调，我一般用5-10个点
DBSCAN聚类	多维数据（电压+电流+温度）	计算量大，适合离线分析

举个例子。我曾经处理过一批数据，温度传感器在某个时间段突然跳到120°C。用3σ法一查，确实异常。但实际是电池在快充，温度本来就高，加上传感器安装位置靠近发热元件。后来我加了「变化率限制」——温度每秒变化超过5°C才标记异常。这样就把真异常和物理现象分开了。

警告：别一刀切删除所有异常值。先问自己三个问题：这个值物理上可能吗？它出现的上下文是什么？删除后会不会破坏数据连续性？

4.4 时间戳对齐：让数据「同步」起来

时间戳对齐，是BMS数据预处理里最容易被忽视的一步。电压、电流、温度来自不同传感器，采样频率可能不一样。电压1Hz，电流10Hz，温度0.5Hz。不对齐，你算出来的SOH就是错的。

对齐策略：

降采样对齐：以最低频率为准，把高频数据降下来。比如电流10Hz降到1Hz，取平均值或中位数。我习惯用中位数，抗噪声能力强。
升采样对齐：以最高频率为准，低频数据插值。但插值会引入误差，慎用。
最近邻对齐：找时间上最接近的点。简单粗暴，适合实时系统。

你想想看，如果电压和电流的时间戳差了0.5秒，算出来的内阻值会差多少？在大电流脉冲下，0.5秒电压可能已经掉了50mV，内阻计算误差能到20%以上。所以对齐这事，马虎不得。

我个人习惯，在数据采集阶段就做好同步。用同一个时钟源给所有传感器打时间戳。如果做不到，就在预处理阶段用线性插值对齐，但一定要记录插值误差。

4.5 实战代码示例：一个完整的预处理流程

说了这么多，咱们来点实际的。下面是我常用的一个预处理脚本，处理CSV格式的BMS数据。

import pandas as pd
import numpy as np

# 读取原始数据
df = pd.read_csv('bms_data.csv', parse_dates=['timestamp'])

# 1. 传感器标定补偿（假设标定系数已知）
df['voltage_cal'] = df['voltage_raw'] * 1.002 + 0.003  # 增益+偏移补偿
df['current_cal'] = df['current_raw'] * 0.998 - 0.001

# 2. 数据清洗：去重、填缺失
df = df.drop_duplicates(subset='timestamp')
df = df.set_index('timestamp').resample('1S').mean()  # 重采样到1Hz
df = df.interpolate(method='linear', limit=2)  # 最多插2个连续缺失

# 3. 异常值检测：滑动窗口+3σ
def detect_anomaly(series, window=10, threshold=3):
    rolling_mean = series.rolling(window).mean()
    rolling_std = series.rolling(window).std()
    z_score = (series - rolling_mean) / rolling_std
    return np.abs(z_score) > threshold

df['voltage_anomaly'] = detect_anomaly(df['voltage_cal'])
df['current_anomaly'] = detect_anomaly(df['current_cal'])

# 4. 时间戳对齐（已经通过resample对齐了）
# 输出清洗后的数据
df_clean = df[~df['voltage_anomaly'] & ~df['current_anomaly']]
df_clean.to_csv('bms_data_clean.csv')

这段代码看着简单，但我在实际项目里反复调过很多次。比如滑动窗口大小，电池静置时窗口可以大一点，充放电时窗口要小。还有阈值，3σ对电压数据还行，对电流数据就太严了，我经常放宽到5σ。

4.6 避坑指南：我踩过的那些坑

最后，分享几个我亲身经历的血泪教训。

坑一：标定完忘了更新固件。有一次标定完传感器，补偿系数算好了，但忘了烧录到BMS里。结果离线分析时数据对不上，查了两天才发现。
坑二：异常值检测把正常数据删了。电池在低温下内阻变大，电压波动也大。用标准3σ法，把很多正常数据当异常删了。后来我加了温度条件判断。
坑三：时间戳对齐用了线性插值，结果引入相位延迟。在快速充放电切换时，插值出来的电压和电流对不上，算出来的功率曲线全是毛刺。后来改用最近邻法，虽然粗糙但至少不引入假数据。

嗯，数据预处理这块，说难不难，说简单也不简单。关键是要理解你的数据从哪来、到哪去。传感器标定、数据清洗、异常检测、时间戳对齐，每一步都是在为SOH模型铺路。路铺好了，模型跑起来才稳当。

下一章，咱们聊聊特征工程——怎么从这些干净数据里，挖出对SOH最有用的特征。

📚 课程目录