日志数据采集基础：常见日志来源、采集频率与策略、数据清洗与格式化
大家好，我是老张。今天咱们聊聊日志数据采集这件事。说实话，很多刚入行的运维同事觉得采集就是“把数据拉过来”，其实没那么简单。我在厂里摸爬滚打这些年，踩过的坑比吃过的盐还多。嗯，咱们一个一个说。
一、常见日志来源：PLC、SCADA、传感器
厂务运维的日志数据，说白了就三大类来源。我习惯把它们分成“底层、中层、上层”来看。
1. PLC（可编程逻辑控制器）
PLC是设备的“大脑”。它直接控制电机、阀门、变频器这些执行机构。PLC日志通常包含：
- 运行状态：启停信号、故障代码、运行时长
- 过程值：温度、压力、流量、液位等模拟量
- 报警记录：超限报警、设备故障、通信中断
我个人习惯，PLC日志采集一定要关注“时间戳精度”。有些老款PLC的时间戳只能精确到秒，这在分析快速故障时根本不够用。我在一个半导体厂项目中遇到过，因为PLC时间戳差了3秒，导致整个故障根因分析白做了三天。
2. SCADA（数据采集与监控系统）
SCADA是“中间层”。它把各个PLC的数据汇总起来，形成统一的监控画面。SCADA日志通常包括：
- 操作记录：谁在什么时间点了哪个按钮
- 趋势数据：历史曲线、平均值、最大值、最小值
- 事件记录：系统登录、配置变更、通信状态变化
你想想看，SCADA日志最大的价值是什么？是“人机交互的痕迹”。有一次，一个操作员说“我没动过任何东西”，结果我调出SCADA操作日志，发现他凌晨3点误触了一个复位按钮。嗯，数据不会说谎。
3. 传感器
传感器是“神经末梢”。温度传感器、压力变送器、振动探头、气体检测仪……它们直接感知物理世界。传感器日志的特点是：
- 数据量大：尤其是振动、电流等高频信号
- 噪声多：电磁干扰、温漂、零点漂移
- 格式不统一：4-20mA、Modbus RTU、IO-Link、HART……五花八门
我记得有个项目，振动传感器采集频率设成了10kHz，一天下来数据量就超过100GB。后来我强制要求：高频信号只存特征值，原始数据按需触发存储。这才把存储成本降下来。
核心要点：PLC日志看“设备状态”，SCADA日志看“人做了什么”，传感器日志看“物理世界的变化”。三者缺一不可。
二、采集频率与策略
采集频率怎么定？很多人的第一反应是“越高越好”。错！我见过一个厂，把所有数据都设成1秒采集一次，结果一个月后硬盘满了，历史数据全丢了。这就是典型的“贪多嚼不烂”。
1. 按数据类型定频率
| 数据类型 | 推荐采集频率 | 典型场景 |
|---|---|---|
| 开关量（启停、阀门状态） | 变化触发（事件驱动） | 设备启停、报警信号 |
| 慢变模拟量（温度、液位） | 1~10秒 | 空调水温、储罐液位 |
| 快变模拟量（压力、流量） | 0.1~1秒 | 压缩空气压力、冷却水流量 |
| 高频信号（振动、电流谐波） | 1kHz~10kHz（特征值存储） | 电机轴承振动、变频器输出 |
我个人的经验是：能触发采集就别轮询，能存特征值就别存原始值。举个例子，一个阀门从开到关，中间状态变化可能只有几百毫秒。如果你用1秒轮询一次，很可能漏掉这个变化。而用“变化触发”方式，只在状态改变时记录，既准确又省空间。
2. 采集策略：分层与降采样
大型厂区可能有上万个测点。如果全部高频采集，谁也扛不住。我建议采用“分层采集策略”：
- 实时层：关键设备、关键参数，高频采集（如冷却水泵电流、洁净室压差）
- 趋势层：一般参数，中频采集（如车间温度、湿度）
- 归档层：非关键参数，低频采集或只存日统计值（如照明能耗、非生产区域数据）
另外，降采样是个好办法。比如振动数据，原始采集10kHz，但存储时只存每秒的RMS值、峰值、峰峰值。这样数据量直接降到原来的千分之一。我在一个光伏厂就是这么干的，效果很好。
小技巧：采集频率不是一成不变的。设备正常运行时可以降低频率，设备出现异常时自动提高频率。这叫“自适应采集策略”。我曾经用这个办法，把一个车间的数据存储量减少了70%。
三、数据清洗与格式化
数据采集回来了，但能用吗？说实话，原始数据往往“脏得没法看”。我见过最离谱的情况：一个温度传感器因为接线松动，连续三天输出-40℃（传感器故障默认值）。如果不清洗，分析出来的结论就是“车间冷得像冰窖”。
1. 常见数据脏问题
- 缺失值：通信中断、传感器掉电导致数据断点
- 异常值：传感器漂移、电磁干扰导致数据跳变
- 重复值：采集程序bug导致同一时间戳多条记录
- 时间戳错乱：PLC时钟不同步、时区设置错误
- 单位不一致：有的传感器输出℃、有的输出℉，有的输出mA
为什么会这样？说白了，工业现场环境太恶劣了。电磁干扰、温度变化、振动、老化……传感器和通信链路随时可能出问题。所以，数据清洗不是“可选项”，而是“必选项”。
2. 清洗流程：三步走
我习惯把清洗流程分成三步：
- 去重与排序：按时间戳排序，删除重复记录
- 异常值处理：用3σ原则或IQR（四分位距）识别异常值，然后插值或剔除
- 缺失值填充：线性插值、前向填充、或标记为“无效”
举个例子，下面是一段简单的Python清洗代码（嗯，我平时用Python比较多）：
import pandas as pd
import numpy as np
# 读取原始数据
df = pd.read_csv('sensor_data.csv', parse_dates=['timestamp'])
# 1. 去重：按时间戳去重，保留第一条
df = df.drop_duplicates(subset=['timestamp'])
# 2. 排序：按时间戳升序
df = df.sort_values('timestamp')
# 3. 异常值处理：3σ原则
mean = df['value'].mean()
std = df['value'].std()
df = df[(df['value'] >= mean - 3*std) & (df['value'] <= mean + 3*std)]
# 4. 缺失值填充：线性插值
df = df.set_index('timestamp').resample('1S').asfreq()
df['value'] = df['value'].interpolate(method='linear')
print(f"清洗完成，剩余 {len(df)} 条记录")注意，这段代码只是示例。实际项目中，你还要考虑边界情况，比如连续缺失超过一定比例就直接标记为“数据不可用”。我曾经因为没处理这个，导致一个月的趋势分析全错了。
3. 格式化：统一标准
数据清洗完了，还要格式化。我建议统一成以下标准：
- 时间戳：统一为ISO 8601格式（如2025-01-15T14:30:00Z），时区统一为UTC+8
- 数值：统一为浮点数，单位标准化（如温度统一用℃、压力统一用kPa）
- 状态码：统一为枚举值（如0=正常、1=报警、2=故障、-1=无效）
- 标签命名：统一命名规则（如“区域_设备_参数_单位”）
避坑指南：我曾经在一个项目里，因为PLC和SCADA的时间戳格式不一致（一个用“YYYY-MM-DD HH:mm:ss”，一个用“YYYY/MM/DD HH:mm:ss”），导致数据对齐时差了整整12小时。从那以后，我强制要求所有系统统一时间戳格式，并且每天做一次时间同步校验。
四、知识体系总览
说了这么多，咱们用一张图来总结一下本章的核心逻辑。这张图是我自己画的，你看完应该能对整个数据采集流程有个清晰的印象。
你看，整个流程就是从三个来源出发，经过合理的采集策略，再通过清洗和格式化，最终得到高质量的可分析数据。每一步都很关键，缺一环都不行。
好了，关于日志数据采集的基础知识，咱们就聊到这儿。记住一句话：垃圾数据进，垃圾分析出。采集这一步做扎实了，后面的分析才能站得住脚。下次见。
公众号:蓝海资料掘金营，微信deep3321