数据预处理与清洗：异常值检测、缺失值填充、数据归一化与时间戳对齐
说实话，做数字孪生这么多年，我踩过最大的坑就是数据预处理。很多人觉得算法模型才是核心，数据随便洗洗就行。结果呢？模型跑出来漂亮得很，一上现场就崩。为什么？因为真实数据从来不会像教科书那么干净。
今天咱们就聊聊数据预处理的四个关键环节。我保证，把这些搞明白了，你的数字孪生系统至少能少出80%的幺蛾子。
异常值检测：别让一颗老鼠屎坏了一锅粥
先讲异常值。储能系统的数据里，异常值太常见了。传感器偶尔抽风、通信丢包、电磁干扰，都会产生离谱的数据点。
什么是异常值？说白了，就是那些明显偏离正常范围的数据。比如电池电压突然跳到1000V，或者SOC从50%瞬间变成120%。
我个人习惯用三种方法检测异常值：
- 3σ原则：数据服从正态分布时，超过均值±3倍标准差的值视为异常。简单粗暴，适合快速筛查。
- 箱线图法：用四分位数判断。低于Q1-1.5×IQR或高于Q3+1.5×IQR的都是异常点。这个方法对分布形态不敏感，我比较常用。
- 领域知识法：这个最靠谱。比如锂电池电压正常范围是2.5V-4.2V，超出这个范围直接标红。我在项目中遇到过，有个电芯电压一直显示0V，算法判断是异常，结果一查是采集线松了。
重点提醒：异常值不一定要删除。有时候异常值本身就有价值——它可能预示着设备故障的前兆。我建议先标记，再根据业务场景决定处理方式。
缺失值填充：别让数据出现"窟窿"
缺失值在工业数据里太普遍了。传感器断电、网络抖动、存储故障，都会导致数据断档。
处理缺失值，我一般按这个优先级来：
- 直接删除：如果缺失比例很小（<5%），且缺失是随机的，直接删掉那几行数据最省事。
- 前向填充：用上一个有效值填充。储能系统的温度、压力这类变化缓慢的参数，用这个方法很合适。
- 线性插值：用前后两个有效值做线性插值。适合电压、电流这类连续变化的参数。
- 模型预测：用其他相关变量预测缺失值。比如用电流和SOC预测电压。这个方法精度高，但计算量大。
我的经验：千万别对所有参数用同一种填充方法。我曾经犯过这个错，把温度数据也用前向填充，结果夏天中午的温升曲线变得平缓，完全失真了。后来改成线性插值，效果好了很多。
数据归一化：让不同量纲的数据"说同一种语言"
归一化这件事，很多人觉得可有可无。其实不然。你想想看，电压是3.7V，电流是100A，SOC是0.8，这三个数值的量级差太多了。如果不做归一化，模型会天然偏向数值大的特征。
常用的归一化方法就两种：
| 方法 | 公式 | 适用场景 |
|---|---|---|
| Min-Max归一化 | x' = (x - min) / (max - min) | 数据分布有明确边界，比如SOC（0-100%） |
| Z-score标准化 | x' = (x - μ) / σ | 数据分布近似正态，比如环境温度 |
我个人的习惯是：对于储能系统，电压、电流、功率用Z-score，SOC、SOH用Min-Max。为什么？因为电压电流的分布通常比较集中，而SOC是固定范围。
注意：归一化的参数一定要保存下来。模型上线后，新数据要用同样的参数做归一化。我见过有人忘了这茬，上线后模型预测结果全乱套了。
时间戳对齐：让所有数据"踩在同一个节拍上"
这是最容易被忽视的一步，但也是坑最多的一步。
储能系统的数据来源很多：BMS上报的电压温度是秒级数据，PCS的功率数据是毫秒级，环境监测站的数据可能是分钟级。这些数据的时间戳往往不同步。
怎么对齐？我一般分三步走：
- 统一时区：所有数据统一到UTC时间。别问我为什么，问就是吃过亏。
- 确定基准频率：根据业务需求确定一个统一的采样频率。做实时映射一般用1秒或100毫秒。
- 重采样：高频数据降采样（取平均或最大值），低频数据升采样（前向填充或插值）。
举个例子。BMS每1秒上报一次电压，PCS每100毫秒上报一次功率。要做实时映射，我先把基准频率定为100毫秒。BMS的数据用前向填充补齐到100毫秒间隔，PCS的数据直接保留。这样所有数据就对齐了。
核心要点：时间戳对齐不是简单的"找最近的点"。要考虑数据本身的物理含义。比如温度变化慢，用前向填充没问题；但功率变化快，用插值更合理。
知识体系总览
下面这张图是我自己整理的，把数据预处理的四个环节串起来了。你看一眼就能明白整个流程。
你看，整个流程其实不复杂。但每一步都有讲究。异常值检测要结合业务场景，缺失值填充要区分参数类型，归一化要保存参数，时间戳对齐要考虑物理含义。
最后说一句：数据预处理没有银弹。每个项目的数据特点都不一样，关键是要理解你的数据，理解你的业务。工具和方法都是死的，但人是活的。
好了，今天就聊到这儿。希望这些经验能帮你少走些弯路。