4. 数据采集与边缘计算：传感器数据采集频率设计、边缘节点预处理
大家好，我是老张。今天咱们聊聊数据采集和边缘计算这块硬骨头。说实话，很多项目前期规划得挺好，一上线就发现数据要么太多把网络撑爆，要么太少根本没法用。这里面的门道，我踩过的坑可不少。
4.1 采集频率设计——不是越快越好
很多人有个误区：采集频率越高越好。其实不然。你想想看，一个温度传感器，环境温度一分钟才变化0.1度，你每秒采一次，除了浪费电和带宽，还能干嘛？
我个人习惯，先问三个问题：
- 信号变化有多快？ 温度、湿度这种慢变信号，5-10秒一次足矣。
- 控制精度要求多高？ 工业PID控制可能需要100ms以内的采样间隔。
- 网络和存储扛得住吗？ 1000个节点每秒发一次数据，一天就是86,400,000条记录。
经验法则： 采样频率至少是信号最高频率的2倍（奈奎斯特定理），但实际工程中我一般取5-10倍留余量。
我在项目中遇到过一件事：一个冷链监控项目，客户要求每10秒采一次温度。结果一个月下来，光存储费用就超了预算。后来我改成：正常时每60秒采一次，温度波动超过0.5℃时自动切换到10秒。数据量直接降了80%。
4.2 边缘节点预处理——把脏活累活干在前头
数据到了边缘节点，别急着往上送。先做三件事：滤波、去重、异常值剔除。这三步做好了，云端的数据质量才有保障。
4.2.1 滤波——把噪声滤干净
传感器数据天生带噪声。尤其是工业现场，电机一启动，信号就抖得跟筛子似的。我常用的滤波方法就两种：
| 方法 | 适用场景 | 优缺点 |
|---|---|---|
| 滑动平均滤波 | 温度、湿度等慢变信号 | 简单有效，但会引入延迟 |
| 中值滤波 | 有突发脉冲噪声的场景 | 抗干扰强，但计算量稍大 |
| 一阶低通滤波 | 实时性要求高的控制场景 | 延迟小，参数调起来有点麻烦 |
举个例子，滑动平均滤波的代码长这样：
// 滑动平均滤波，窗口大小5
#define WINDOW_SIZE 5
float buffer[WINDOW_SIZE] = {0};
int index = 0;
float moving_average(float new_value) {
buffer[index] = new_value;
index = (index + 1) % WINDOW_SIZE;
float sum = 0;
for (int i = 0; i < WINDOW_SIZE; i++) {
sum += buffer[i];
}
return sum / WINDOW_SIZE;
}小技巧： 窗口大小选奇数，中值滤波时好处理。我一般从5开始试，效果不行再调大。
4.2.2 去重——别让重复数据浪费带宽
传感器有时候会连续发出相同的值。比如一个开关量传感器，状态没变，但每隔100ms就发一次"1"。这种数据传上去毫无意义。
我的做法很简单：
- 数值去重： 当前值跟上一次一样，直接丢弃。
- 时间窗口去重： 短时间内重复的数据，只保留第一条。
曾经有个项目，现场振动传感器每50ms发一次数据，但振动值在0.01g以内波动。我设了个死区：变化小于0.01g就认为是重复数据，直接过滤掉。数据量从每天200万条降到了15万条。
4.2.3 异常值剔除——把脏数据挡在门外
异常值是最头疼的。传感器漂移、通信干扰、电源波动，都可能导致数据突然跳变。如果不处理，云端分析出来的结果全是错的。
我常用的方法：
- 限幅法： 设定合理范围，超出直接丢弃。比如温度传感器，-40℃到85℃之外的数据，肯定是错的。
- 变化率法： 相邻两次数据变化超过阈值，判定为异常。比如温度一秒内跳了10℃，这不可能。
- 3σ原则： 基于历史数据计算均值和标准差，超出3倍标准差的数据视为异常。
注意： 异常值剔除要留有余地。我曾经把变化率阈值设得太严，结果把正常的环境突变也给滤掉了，导致系统误报警。后来我改成：连续3次异常才判定为真异常，单次异常先标记但不丢弃。
4.3 边缘计算的完整流程
说了这么多，咱们把整个流程串起来看看。下面这张图是我自己画的，基本涵盖了边缘节点数据处理的全部环节。
4.4 实战中的避坑指南
最后，分享几个我踩过的坑，希望能帮大家少走弯路。
坑1：滤波参数一刀切
我曾经在一个项目里，所有传感器都用同样的滤波参数。结果温度数据平滑了，但振动数据被滤得面目全非。后来我改成：每个传感器类型单独配置滤波参数。
坑2：异常值直接丢弃
有一次，我把异常值直接丢弃了，结果现场设备故障时，数据全被当成异常值滤掉了，云端完全没收到报警。现在我的做法是：异常值标记但不丢弃，同时触发本地报警。
坑3：忽略时间同步
边缘节点的时间如果不统一，数据到了云端根本没法做时序分析。我建议所有边缘节点都用NTP同步时间，精度至少到秒级。
好了，这一章的内容就到这里。数据采集和边缘计算这块，说白了就是：在正确的时间，用正确的方式，拿到正确的数据。下一章咱们聊聊数据上云的那些事儿。
公众号:蓝海资料掘金营，微信deep3321