第2章 Python数据采集实战

第2章：Python数据采集实战：使用pymodbus库读取风机数据、数据清洗与预处理

好，咱们进入正题。上一章我们把Modbus协议和风机数据模型聊清楚了，这一章就来点实在的——用Python把数据真正抓到手，再把它收拾得干干净净。

说实话，我最早做风机数据采集时，踩过不少坑。有一次在现场调试，数据读出来全是乱码，折腾了大半天才发现是字节序搞反了。嗯，这些经验我会在下面一一告诉你。

2.1 环境准备：装好你的工具箱

工欲善其事，必先利其器。咱们先搭环境。

我个人习惯用 pymodbus 这个库，它稳定、文档全，社区也活跃。安装很简单：

pip install pymodbus pandas numpy

这里我多装了两个库：pandas 和 numpy。为什么？因为数据读回来之后，清洗和预处理全靠它们。你想想看，风机一秒钟可能产生几十个数据点，光靠Python原生的列表处理，效率太低了。

我的小建议： 建议用虚拟环境。我在项目里吃过亏——不同项目依赖的pymodbus版本不一样，混在一起容易出问题。用 python -m venv venv 创建隔离环境，省心。

2.2 建立连接：和风机控制器“握手”

连接Modbus设备，说白了就是告诉它“嘿，我要读数据了”。来看代码：

from pymodbus.client import ModbusTcpClient

# 风机控制器的IP和端口
HOST = '192.168.1.100'
PORT = 502

# 建立连接
client = ModbusTcpClient(HOST, PORT)
connection = client.connect()

if connection:
    print("连接成功！风机控制器在线。")
else:
    print("连接失败，请检查网络或设备状态。")

这里要注意，ModbusTcpClient 默认超时时间是3秒。我在现场遇到过网络不稳定的情况，3秒太短了，经常报错。后来我改成5秒：

client = ModbusTcpClient(HOST, PORT, timeout=5)

避坑指南： 我曾经在某个风场调试，连接总是断断续续。查了半天，发现是交换机的端口协商问题。如果你遇到连接不稳定，先别急着改代码，检查一下物理链路。

2.3 读取数据：把寄存器里的数字“捞”出来

连接建立后，就可以读数据了。风机的主要参数都存放在保持寄存器（Holding Register）里。咱们以读取风速、功率和转速为例：

# 读取保持寄存器，从地址0开始，读3个寄存器
result = client.read_holding_registers(address=0, count=3, unit=1)

if result.isError():
    print("读取失败，错误码：", result)
else:
    wind_speed_raw = result.registers[0]   # 风速原始值
    power_raw = result.registers[1]        # 功率原始值
    rpm_raw = result.registers[2]          # 转速原始值
    
    print(f"原始数据 - 风速：{wind_speed_raw}, 功率：{power_raw}, 转速：{rpm_raw}")

你可能会问：为什么读出来的是整数？因为Modbus寄存器是16位的，存的是原始数字。要得到真实物理值，得做转换。

举个例子，风速传感器的量程是0-30m/s，对应数字量0-10000。那么转换公式就是：

wind_speed = wind_speed_raw * 30.0 / 10000.0
print(f"实际风速：{wind_speed:.2f} m/s")

我在项目中见过有人忘了做这个转换，直接把原始值当真实值用，结果报警阈值全设错了。嗯，这种低级错误咱们可不能犯。

2.4 批量读取：别一次只读一个参数

风机有几十个参数，如果每个参数都单独读一次，效率太低了。Modbus支持批量读取，一次最多读125个寄存器。我建议你把相关的参数打包读取：

# 一次读取20个寄存器，涵盖主要运行参数
result = client.read_holding_registers(address=0, count=20, unit=1)

if not result.isError():
    data = {
        'wind_speed': result.registers[0] * 30.0 / 10000.0,
        'power': result.registers[1] * 2000.0 / 10000.0,  # 假设功率量程0-2000kW
        'rpm': result.registers[2] * 20.0 / 10000.0,      # 转速量程0-20rpm
        'temperature': result.registers[3] * 100.0 / 10000.0,  # 温度量程0-100°C
        # ... 继续解析其他寄存器
    }
    print(data)

  核心要点： 批量读取能大幅减少网络交互次数。我实测过，一次读20个寄存器比单独读20次快了将近10倍。在数据采集频率高的场景下，这个优化非常关键。

2.5 数据清洗：把脏数据筛出去

数据读回来了，但别急着用。风机运行环境恶劣，传感器偶尔会出问题，比如通信干扰导致数据跳变、传感器故障输出异常值。这些脏数据必须处理掉。

我常用的清洗策略有这几招：

范围检查： 风速不可能超过30m/s，功率不可能为负。超出合理范围的数据直接丢弃。
变化率检查： 0.1秒内风速从5m/s跳到25m/s，这明显不合理。设定最大变化率阈值。
重复值检查： 连续多次读到完全相同的值，可能是传感器卡住了。

来看代码实现：

def clean_wind_data(raw_data):
    """
    清洗风机数据
    raw_data: 字典，包含各参数的原始值
    返回：清洗后的数据，或None（如果数据无效）
    """
    # 范围检查
    if not (0 <= raw_data['wind_speed'] <= 30):
        return None
    if not (0 <= raw_data['power'] <= 2000):
        return None
    if not (0 <= raw_data['rpm'] <= 20):
        return None
    
    # 变化率检查（需要历史数据）
    # 这里假设 previous_data 是上一帧的数据
    if previous_data:
        delta_wind = abs(raw_data['wind_speed'] - previous_data['wind_speed'])
        if delta_wind > 10:  # 0.1秒内风速变化超过10m/s，不合理
            return None
    
    return raw_data

我曾经踩过的坑： 有次数据清洗把正常数据也误删了。查了半天，发现是阈值设得太死。比如风速在台风天确实可能超过30m/s。所以阈值要根据实际工况动态调整，别一刀切。

2.6 数据预处理：让数据“规规矩矩”

清洗完的数据，还要做预处理才能用于后续分析。我常用的预处理包括：

缺失值处理： 用前一个有效值填充，或者用插值法。
时间戳对齐： 不同传感器的采样频率可能不同，需要统一时间基准。
数据归一化： 把不同量纲的数据映射到0-1之间，方便后续算法处理。

用pandas处理起来很方便：

import pandas as pd
import numpy as np

# 假设我们有一个DataFrame，包含时间序列数据
df = pd.DataFrame({
    'timestamp': pd.date_range('2024-01-01', periods=100, freq='100ms'),
    'wind_speed': np.random.uniform(3, 15, 100),
    'power': np.random.uniform(100, 800, 100)
})

# 缺失值填充：用前向填充法
df.fillna(method='ffill', inplace=True)

# 时间戳对齐：重采样到1秒间隔
df.set_index('timestamp', inplace=True)
df_resampled = df.resample('1S').mean()

# 数据归一化：Min-Max归一化
df_normalized = (df_resampled - df_resampled.min()) / (df_resampled.max() - df_resampled.min())

print(df_normalized.head())

你想想看，如果不做归一化，风速的数值范围是0-30，功率是0-2000，直接丢给机器学习模型，功率的权重会被放大，结果肯定不准。

2.7 完整的数据采集流程

好了，把上面这些串起来，就是一个完整的数据采集流程。我画了个流程图，帮你理清思路：

这个流程看起来简单，但每个环节都有细节。我建议你在写代码时，把每个步骤封装成独立的函数，这样调试和维护都方便。

2.8 实战小贴士

最后，分享几个我在项目中积累的经验：

场景	建议做法	原因
数据采集频率高（>10Hz）	使用异步模式或多线程	避免阻塞主程序，保证实时性
网络不稳定	增加重试机制，最多重试3次	一次失败不代表永久失败
数据量巨大	使用数据库存储，别用CSV	查询和分析效率更高
需要历史对比	保留原始数据，别只存清洗后的	方便回溯和排查问题

我的习惯： 每次采集数据时，我都会同时记录一个“数据质量标志位”。比如0表示正常，1表示范围超限，2表示变化率异常。这样后期分析时，可以快速定位问题数据。

好了，这一章的内容就到这儿。数据采集和清洗是后续所有分析的基础，基础打牢了，后面做异常检测、故障诊断才能得心应手。下一章咱们聊聊怎么把这些数据可视化，让你一眼看出风机运行状态。

公众号:蓝海资料掘金营，微信deep3321

📚 课程目录