环境数据采集：传感器布点原则、数据采集频率、数据预处理流程

各位同学，咱们今天聊聊环境数据采集。说实话，很多做污染源识别的项目，最后模型跑得不好，十有八九是数据采集阶段就埋了坑。我见过太多人把精力全砸在调参上，结果回头一看，传感器布点就有问题——那模型再牛也白搭。

所以这一节，咱们把传感器布点、采集频率、数据预处理这三个环节掰开揉碎了讲。嗯，都是我在项目里踩过的坑，你们听完能少走不少弯路。

一、传感器布点原则

传感器布点这事儿，说白了就是回答一个问题：在哪儿测，才能代表整个区域的污染状况？

我参与过一个工业园区的项目，甲方要求监测VOCs（挥发性有机物）。他们一开始把传感器全放在厂区门口，觉得那里人流量大、关注度高。结果呢？数据倒是漂亮，但根本反映不了真实排放。后来我们重新布点，才把问题找出来。

这里我总结了几条核心原则：

• 代表性原则：布点位置要能反映监测区域的整体污染水平。不能只挑“干净”的地方，也不能只盯着“脏”的地方。我习惯先做一次快速走航监测，摸清污染的空间分布，再确定点位。
• 梯度覆盖原则：污染源通常有扩散梯度。比如一个烟囱，下风向的浓度肯定比上风向高。所以布点时，要在污染源的上风向、下风向、侧风向都放传感器，形成空间梯度。
• 环境一致性原则：传感器周围的环境要尽量一致。别把传感器放在空调出风口旁边，也别放在树荫底下——温度和湿度的剧烈变化会影响传感器读数。我曾经见过一个项目，传感器放在水泵房旁边，振动导致数据漂移，折腾了半个月才发现。
• 安全与可维护性：这个容易被忽略。传感器要定期校准、更换滤膜。如果布在屋顶边缘或者高压线附近，维护人员根本不敢上去，那数据质量就没法保证。

二、数据采集频率

采集频率怎么定？这个问题其实没有标准答案。你想想看，一个燃煤电厂的烟囱，排放波动可能是分钟级的；而一个垃圾填埋场的甲烷释放，可能是小时级的。用同样的频率去采集，要么浪费资源，要么漏掉关键信息。

我个人习惯分三步来定频率：

1. 先看污染源的排放特征：连续排放还是间歇排放？有没有明显的昼夜规律？比如餐饮油烟，高峰期在中午和晚上，那采集频率就要加密到1分钟一次；而背景浓度监测，15分钟一次就够了。
2. 再考虑污染物的扩散速度：像PM2.5这种颗粒物，扩散相对慢，5-10分钟采集一次就能捕捉到变化。但像臭氧这种活性气体，半小时内的浓度可能翻倍，频率就得提高到1-2分钟一次。
3. 最后看硬件限制：传感器有响应时间，也有寿命。频率太高，传感器容易疲劳，数据噪声也大。我一般建议：电化学传感器不超过1次/分钟，光学传感器不超过1次/10秒。超过这个频率，数据质量反而下降。

三、数据预处理流程

数据预处理，说白了就是给原始数据“洗澡”。传感器采集回来的数据，脏得很——有缺失值、有异常值、有时间戳错乱、有温湿度漂移。不洗干净，模型学到的全是噪声。

我总结了一套标准流程，你们可以直接拿来用：

3.1 缺失值处理

传感器掉线、通信中断、电池没电，都会导致数据缺失。处理方式分三种：

• 线性插值：适用于短时间缺失（<30分钟），用前后两个有效值的线性关系补上。
• 均值填充：适用于周期性缺失，比如每天同一时段的数据缺失，用历史同期的均值填充。
• 删除：如果缺失超过总数据量的20%，或者连续缺失超过2小时，我建议直接删除该时段数据。硬补进去反而会引入偏差。

3.2 异常值检测与处理

异常值怎么判断？我常用的方法有两种：

• 3σ原则：数据服从正态分布时，超过均值±3倍标准差的值视为异常。这个方法简单，但容易误判——比如污染事件本身就是高浓度，你把它当异常删了，那就本末倒置了。
• 箱线图法（IQR）：用四分位距来判断。超过Q3+1.5×IQR或低于Q1-1.5×IQR的值视为异常。这个方法对非正态分布更鲁棒，我比较推荐。

3.3 时间对齐与重采样

不同传感器的采样频率可能不一样。有的1分钟一次，有的5分钟一次。建模之前，必须统一时间轴。我习惯用线性重采样，把高频数据降采样到低频，或者把低频数据升采样到高频（但要注意，升采样会引入虚假信息）。

下面是一个简单的Python代码示例，展示如何做时间对齐和缺失值插值：

import pandas as pd
import numpy as np

# 假设有两个传感器的数据
sensor1 = pd.DataFrame({
    'time': pd.date_range('2024-01-01 00:00', periods=100, freq='1min'),
    'value': np.random.randn(100) * 10 + 50
})

sensor2 = pd.DataFrame({
    'time': pd.date_range('2024-01-01 00:00', periods=20, freq='5min'),
    'value': np.random.randn(20) * 10 + 50
})

# 设置时间索引
sensor1.set_index('time', inplace=True)
sensor2.set_index('time', inplace=True)

# 重采样到1分钟间隔，用线性插值填充缺失
sensor2_resampled = sensor2.resample('1min').interpolate(method='linear')

# 合并两个传感器数据
merged = pd.merge(sensor1, sensor2_resampled, 
                  left_index=True, right_index=True, 
                  suffixes=('_s1', '_s2'))

print(merged.head())

3.4 温湿度补偿

很多电化学传感器对温湿度敏感。温度升高10°C，读数可能漂移20%。所以预处理时，必须做温湿度补偿。一般传感器厂商会提供补偿公式，或者你可以自己用实验室数据拟合一个校正模型。

我遇到过最坑的一次：一个项目用了半年数据做模型，结果发现夏季和冬季的浓度趋势完全相反。后来一查，是传感器没有做温度补偿，夏季高温导致读数虚高。从那以后，我每次布点都会在传感器旁边放一个温湿度计，同步采集环境参数。

四、知识体系总览

下面这张图，把咱们刚才讲的内容串起来了。你可以把它当作一个检查清单，做项目时对照着来：

好了，关于环境数据采集的核心内容就这些。记住一句话：数据质量决定了模型的天花板，算法只是逼近这个天花板的手段。布点、频率、预处理，这三件事做好了，你的随机森林模型才能发挥真正的威力。