第1章：数据预处理技术——多传感器融合的第一道坎
大家好，我是老张。今天咱们聊聊数据预处理。说实话，很多做安全预警系统的朋友，一上来就急着搞算法、调模型，结果数据质量不行，后面全白搭。我见过太多这样的案例了。
数据预处理，说白了就是给传感器数据「洗澡」。你想想看，几十上百个传感器，有的在室内，有的在户外，有的采样频率高，有的低。这些原始数据能直接用吗？当然不能。我习惯把预处理分成三大块：清洗、对齐、归一化。咱们一个一个说。
核心观点：数据预处理占整个数据管道工作量的60%以上。别小看这一步，它直接决定了后续融合分析的成败。
4.1 数据清洗：去噪与去重
先讲清洗。传感器数据里最常见的两个问题：噪声和重复。
去噪——传感器不是完美的。温度传感器可能因为电路干扰跳变，振动传感器可能因为风吹草动误报。我常用的方法有几种：
- 限幅滤波：设定合理范围，超出就丢弃。比如温度传感器，-40°C到85°C是常见工业级范围，突然蹦出个200°C？那肯定是噪声。
- 中值滤波：取滑动窗口内的中位数。对脉冲噪声特别有效。我在做消防预警项目时，烟雾传感器经常被蚊虫干扰，用中值滤波后误报率降了70%。
- 卡尔曼滤波：适合动态系统。如果你做的是运动目标检测，这个很实用。
去重——同一个事件被多个传感器重复上报，或者网络重传导致数据重复。我建议用时间戳+传感器ID做联合主键，在数据入库前就做一次去重。
我的小技巧：去重时别只看时间戳。有些传感器精度不够，同一事件可能产生微秒级差异的时间戳。我习惯加一个容忍窗口，比如10毫秒内的重复数据只保留一条。
# 伪代码：数据去重示例
def deduplicate(data_stream, window_ms=10):
seen = set()
for record in data_stream:
key = (record.sensor_id, record.timestamp // window_ms)
if key not in seen:
seen.add(key)
yield record
4.2 数据对齐：时间戳同步
这是最头疼的一环。为什么？因为不同传感器的时钟源不一样。有的用NTP，有的用GPS授时，有的干脆用本地晶振。时间不同步，融合就是笑话。
我遇到过最夸张的情况：一个项目里，摄像头的时间比振动传感器快了整整3秒。结果报警时，画面和振动数据对不上，排查了三天才发现是时间戳的问题。
常用的对齐策略：
| 方法 | 适用场景 | 精度 | 我个人的评价 |
|---|---|---|---|
| 最近邻插值 | 低频传感器（如温度、湿度） | 低 | 简单粗暴，够用 |
| 线性插值 | 变化平缓的信号（如压力） | 中 | 我比较常用 |
| 样条插值 | 高频、非线性信号（如振动） | 高 | 计算量大，慎用 |
| 硬件同步 | 高精度需求（如雷达+摄像头） | 极高 | 成本高，但最可靠 |
嗯，这里要注意：对齐不是简单的「把时间戳改成一样的」。你得保留原始时间戳，同时生成一个对齐后的时间戳字段。这样万一后面发现问题，还能追溯。
避坑指南：我曾经在边缘设备上做实时对齐，用了三次样条插值，结果CPU直接跑满。后来改成线性插值，精度损失不到2%，但计算量降了一个数量级。记住：在边缘端，计算资源是稀缺的。
4.3 数据归一化与标准化
归一化和标准化，这两个概念经常被混淆。我简单解释一下：
- 归一化：把数据缩放到[0,1]或[-1,1]区间。适合有明确上下界的场景，比如温度、湿度。
- 标准化：把数据变成均值为0、标准差为1的分布。适合数据分布未知或存在异常值的场景。
为什么需要这一步？你想想看，温度是0-100°C，振动加速度是0-10g，压力是0-1000kPa。如果不做归一化，算法会天然偏向数值大的特征。说白了，就是「大数欺负小数」。
# 归一化示例
def min_max_normalize(data, min_val, max_val):
return (data - min_val) / (max_val - min_val)
# 标准化示例
def z_score_standardize(data):
mean = np.mean(data)
std = np.std(data)
return (data - mean) / std
我个人习惯：如果传感器有明确的物理范围，用归一化；如果数据分布不确定，用标准化。还有一种情况——如果你后续要用神经网络，标准化通常效果更好。
我的经验：归一化和标准化的参数（min、max、mean、std）一定要在训练集上计算，然后应用到验证集和测试集。千万别用全局数据算，否则会造成数据泄露。这个坑我踩过，后来被导师骂了一顿。
知识体系总览
下面这张图是我自己画的，把数据预处理的三个核心步骤串起来了。你可以看到，数据从传感器出来，经过清洗、对齐、归一化，最后才能进入融合模块。
好了，这一章的内容就这些。数据预处理看起来基础，但真要做好，需要大量的实践积累。我建议你从自己的项目数据入手，先做清洗，再对齐，最后归一化。每一步都验证一下效果，别急着往下走。
记住一句话：垃圾进，垃圾出。数据质量不过关，再牛的算法也白搭。