一、储能数据采集概述

大家好，我是老张。在储能行业摸爬滚打了十来年，今天咱们聊聊数据采集这个基础但关键的话题。

很多人觉得数据采集不就是接根线、读个数吗？其实没那么简单。我刚开始做储能项目时，就吃过亏——现场采集上来的数据乱七八糟，BMS报的电压和电表测的电压对不上，PCS的功率曲线跟EMS记录的根本不是一回事。那叫一个头疼。

所以，咱们先把基础打牢。这一章，我带你看看储能系统里到底有哪些数据源，采集过程中会遇到什么坑，以及ETL在这个环节扮演什么角色。

1.1 储能系统数据源类型

一个典型的储能电站，数据源主要来自四个地方：BMS、PCS、EMS和电表。它们各自负责不同的数据，采集方式也完全不同。

数据源 全称 主要数据 典型协议 采集频率
BMS 电池管理系统 单体电压、温度、SOC、SOH、均衡状态 Modbus RTU/TCP、CAN 100ms - 1s
PCS 储能变流器 有功功率、无功功率、直流侧电压电流、运行模式 Modbus TCP、IEC 61850 100ms - 1s
EMS 能量管理系统 调度指令、运行策略、告警信息、历史数据 IEC 104、MQTT、OPC UA 1s - 1min
电表 智能电表 有功电量、无功电量、功率因数、谐波 DL/T 645、Modbus 1s - 15min

你看，光是协议就五花八门。Modbus、CAN、IEC 61850、IEC 104、MQTT……每个设备厂商还喜欢搞点私有扩展。说白了，数据采集的第一步，就是跟这些协议打交道。

我的经验： 别指望一个采集器能搞定所有设备。我习惯的做法是——BMS和PCS用独立的采集网关，EMS和电表走另一路。分开处理，出了问题也好排查。

1.2 数据采集的挑战

数据采集看着简单，实际坑不少。我总结下来，主要有三个挑战：

挑战一：高频率

储能系统的数据变化很快。BMS的电压采样，好的能做到100ms一次。一个100MWh的储能站，光BMS就有上千个采样点。你算算，每秒产生多少数据？

我曾经做过一个项目，客户要求所有数据都存到关系数据库里。结果呢？一天下来，数据库直接撑爆了。后来我们改用时序数据库，才把问题解决。嗯，这里要注意——高频数据，别往关系库里塞。

挑战二：多协议

刚才表格里列了那么多协议，实际项目中只会更多。我记得有个项目，现场有3个厂家的设备，每个厂家用的Modbus地址映射表都不一样。同一个"总电压"这个点，A厂家在寄存器100，B厂家在寄存器200，C厂家干脆用了个自定义协议。

怎么办？只能一个一个对。我那时候写了个协议适配器，把不同厂家的数据统一映射成标准格式。说白了，就是做个"翻译官"。

挑战三：数据质量

这是最头疼的。采集上来的数据，你敢直接用吗？

  • 缺失值： 网络断了，数据没传上来
  • 异常值： 传感器坏了，报出个离谱的数
  • 时间戳错乱： 设备时钟不准，数据顺序全乱了
  • 重复数据： 采集程序bug，一条数据发了两次
避坑指南： 我曾经因为没做数据质量校验，直接把异常数据送进了分析模型。结果模型训练出来，预测结果完全不对。后来花了整整一周排查，才发现是某个传感器漂移了。从那以后，我每条数据进来都先做三件事：范围检查、变化率检查、时间戳连续性检查。

1.3 ETL在储能数据中的角色

数据采上来了，但能用吗？说实话，不能。原始数据就像一堆没洗过的菜，直接下锅肯定不行。这时候，ETL就派上用场了。

ETL——Extract（抽取）、Transform（转换）、Load（加载）。在储能场景里，它的角色很明确：

  • 抽取： 从BMS、PCS、EMS、电表这些源头把数据拿过来
  • 转换： 清洗脏数据、统一单位、对齐时间戳、计算衍生指标
  • 加载： 把处理好的数据存到时序数据库、关系库或数据湖里

你想想看，如果没有ETL，你拿到的数据可能是这样的：

# 原始数据示例
2024-01-15 10:00:01.123, BMS_01, 电池电压, 3.712
2024-01-15 10:00:01.456, BMS_01, 电池电压, 3.711
2024-01-15 10:00:01.789, BMS_01, 电池电压, 3.713
2024-01-15 10:00:02.001, BMS_01, 电池电压, 3.712
# 注意：时间戳精度不一致，数据有重复

经过ETL处理后，变成这样：

# ETL处理后
2024-01-15 10:00:01, BMS_01, 电池电压, 3.712
2024-01-15 10:00:02, BMS_01, 电池电压, 3.712
# 时间戳对齐到秒，去除了重复数据

说白了，ETL就是数据从"原始"到"可用"的桥梁。没有它，后面的分析、告警、调度都是空中楼阁。

核心观点： 数据采集是基础，ETL是保障。采集做不好，后面全白搭；ETL做不好，数据就是垃圾。

下面这张图，是我自己总结的储能数据采集与ETL的整体框架。你看一眼，大概就能明白各个环节的关系。

储能数据采集与ETL流程框架 BMS 电池管理系统 PCS 储能变流器 EMS 能量管理系统 电表 智能电表 数据源层 数据采集层（多协议适配：Modbus、CAN、IEC 61850、MQTT...） ETL处理层 抽取（Extract） 转换（Transform） 加载（Load） 数据存储层（时序数据库、关系数据库、数据湖） 挑战：高频率采集 | 多协议适配 | 数据质量保障

这张图把整个流程串起来了。从底层的BMS、PCS、EMS、电表，到中间的多协议采集层，再到ETL处理，最后落到存储层。每个环节都有它的难点，但最核心的还是ETL——它决定了数据能不能用、好不好用。

一个小建议： 刚开始做储能数据采集时，别想着一步到位。先把BMS和PCS的数据接进来，跑通ETL流程，再逐步接入EMS和电表。我每次都是这么干的，稳得很。

好了，这一章就聊到这儿。数据采集是基础，但基础不牢，地动山摇。下一章，咱们深入聊聊具体的采集协议和实现方式。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →