第3章：数据采集与存储——储能BMS数据采集原理、文件格式与数据库选择

大家好，我是你们的老朋友。今天咱们聊聊储能系统里最基础、也最容易被忽视的一环——数据采集与存储。

说实话，我见过太多项目，算法模型建得漂漂亮亮，结果一跑起来数据质量拉胯，最后全白费。数据采集和存储，就是整个时序分析大厦的地基。地基不稳，楼盖得再高也得塌。

3.1 储能BMS数据采集原理

BMS（电池管理系统）是储能系统的“神经中枢”。它采集的数据，说白了就三类：电压、电流、温度。但你别小看这三样，它们背后藏着大学问。

3.1.1 采集什么？

• 单体电压：每个电芯的电压，精度要求通常在±1mV以内。我遇到过某项目，采集精度差了5mV，SOC估算直接偏了8%。
• 总电压：电池簇的总电压，用于判断系统状态。
• 充放电电流：霍尔传感器或分流器采集，精度要求±0.5%左右。
• 温度：电芯表面、模组内部、环境温度，通常每4-8个电芯一个温度点。
• 其他：绝缘电阻、SOC、SOH等衍生量。

3.1.2 采集频率与精度

这里有个常见的坑。很多人觉得采集频率越高越好，其实不是。BMS的采样频率通常分几档：

数据类型	典型频率	用途
电压/电流	10Hz - 100Hz	SOC估算、保护逻辑
温度	0.1Hz - 1Hz	热管理、寿命预测
绝缘检测	0.01Hz - 0.1Hz	安全监控

我曾经在一个项目中，把电压采集频率设到了200Hz，结果数据量爆炸，存储成本飙升，但实际分析时发现，对于储能这种大惯量系统，10Hz完全够用。嗯，这里要注意：采集频率不是越高越好，够用就行。

3.2 文件格式：CSV vs Parquet

数据采回来，总得存下来吧？最原始的方式就是存成文件。CSV和Parquet是两种最常见的格式。

3.2.1 CSV——简单但低效

CSV的好处是：人类可读，Excel能直接打开。但缺点也很明显：

• 体积大：同样的数据，CSV比Parquet大3-5倍。
• 无类型信息：所有字段都是字符串，读进来还得自己转类型。
• 不支持压缩：虽然可以gzip，但读写都慢。

我个人习惯，CSV只用于小数据量的调试和验证。比如你写个脚本，想快速看看某段数据长什么样，用CSV没问题。但生产环境？千万别。

3.2.2 Parquet——工业级的选择

Parquet是列式存储格式，天生为大数据分析而生。它的优点：

• 高压缩比：同样的数据，Parquet体积只有CSV的20%-30%。
• 列式存储：你只查电压列？那它只读电压列的数据，IO开销小得多。
• 自带Schema：数据类型、字段名都写在文件里，不会搞错。

3.3 时序数据库选择：SQLite vs InfluxDB

文件格式适合离线分析，但实时监控和查询呢？那就得上数据库了。时序数据库是专门为时间戳数据设计的，储能数据天然就是时序数据。

3.3.1 SQLite——轻量级嵌入式数据库

SQLite是个“小个子”，但它很能打。适合什么场景？

• 单机应用：比如边缘计算盒子、本地监控屏。
• 数据量不大：几百万条以内，SQLite完全扛得住。
• 零配置：不需要安装服务，一个文件搞定。

但SQLite的短板也很明显：写入并发差。多个进程同时写？容易锁死。我曾在某个项目中，用SQLite做实时数据采集，结果采集频率一高，写入队列就堵死了。后来换成了InfluxDB，问题迎刃而解。

3.3.2 InfluxDB——专业的时序数据库

InfluxDB是时序数据库里的“老大哥”。它专为时序数据设计，优势明显：

• 高写入吞吐：每秒可以写入百万级数据点。
• 自动过期：可以设置数据保留策略，旧数据自动删除。
• 强大的查询语言：Flux或InfluxQL，支持窗口函数、聚合、降采样等。

特性	SQLite	InfluxDB
部署方式	嵌入式，单文件	客户端-服务器
写入性能	中等（约1万点/秒）	高（百万点/秒）
查询能力	标准SQL	时序专用查询
适用场景	边缘设备、小规模	大规模、实时监控

3.4 数据写入与读取实战

光说不练假把式。咱们直接上代码。

3.4.1 写入CSV

import pandas as pd
import numpy as np

# 模拟BMS数据
data = {
    'timestamp': pd.date_range('2024-01-01', periods=1000, freq='1s'),
    'voltage': np.random.normal(3.7, 0.05, 1000),
    'current': np.random.normal(0, 10, 1000),
    'temperature': np.random.normal(25, 2, 1000)
}
df = pd.DataFrame(data)

# 写入CSV
df.to_csv('bms_data.csv', index=False)
print("CSV写入完成，共1000条记录")

3.4.2 写入Parquet

# 写入Parquet
df.to_parquet('bms_data.parquet', compression='snappy')
print("Parquet写入完成，体积更小，速度更快")

3.4.3 写入SQLite

import sqlite3

conn = sqlite3.connect('bms_data.db')
df.to_sql('bms', conn, if_exists='replace', index=False)
conn.close()
print("SQLite写入完成")

3.4.4 写入InfluxDB

from influxdb_client import InfluxDBClient, Point
from influxdb_client.client.write_api import SYNCHRONOUS

# 连接InfluxDB
client = InfluxDBClient(url="http://localhost:8086", token="my-token", org="my-org")
write_api = client.write_api(write_options=SYNCHRONOUS)

# 构造数据点
for i, row in df.iterrows():
    point = Point("bms_measurement") \
        .tag("device", "BMS_01") \
        .field("voltage", row['voltage']) \
        .field("current", row['current']) \
        .field("temperature", row['temperature']) \
        .time(row['timestamp'])
    write_api.write(bucket="my-bucket", record=point)

print("InfluxDB写入完成，支持高并发写入")

3.4.5 读取对比

# 读取CSV
df_csv = pd.read_csv('bms_data.csv')
print(f"CSV读取耗时: {time.time() - start:.3f}秒")

# 读取Parquet
df_parquet = pd.read_parquet('bms_data.parquet')
print(f"Parquet读取耗时: {time.time() - start:.3f}秒")

# 读取SQLite
conn = sqlite3.connect('bms_data.db')
df_sqlite = pd.read_sql("SELECT * FROM bms", conn)
conn.close()
print(f"SQLite读取耗时: {time.time() - start:.3f}秒")

3.5 本章知识体系

为了让大家更直观地理解本章内容，我画了一张图：

这张图把本章的核心逻辑串起来了。从BMS采集数据开始，到选择文件格式或数据库，再到具体的写入和读取操作。你想想看，是不是一目了然？

---

好了，这一章的内容就到这里。数据采集和存储是时序分析的基础，选对了工具，后面事半功倍。下一章咱们聊聊数据清洗和预处理——那才是真正考验耐心的地方。