储能运行数据清洗与预处理实战

📚 共计 30 章节
01
储能数据概览
认识BMS、PCS、EMS数据,采集频率与精度,常见数据问题(缺失、异常、噪声)
BMSPCSEMS
02
环境搭建
Python与Anaconda安装,Jupyter Notebook配置,Pandas、NumPy、Matplotlib安装
PythonAnacondaJupyter
03
数据读取
Pandas读取CSV/Excel,读取BMS典型文件,查看head/info/describe
PandasCSVExcel
04
数据探索
维度与列名分析,数据类型检查,缺失值初步统计,异常值初步识别
EDA缺失值异常值
05
数据清洗基础
处理重复数据(duplicated/drop_duplicates),空行与全空列处理
重复值空行清洗
06
缺失值处理(上)
缺失类型(随机/非随机),删除法dropna,填充法fillna(均值/中位数/众数)
dropnafillna均值
07
缺失值处理(下)
插值法interpolate,前向/后向填充(ffill/bfill),KNN填充简介
插值ffillKNN
08
异常值检测(上)
3σ原则(标准差法),Z-Score方法,IQR四分位距法
Z-ScoreIQR
09
异常值检测(下)
箱线图可视化异常,DBSCAN聚类检测,业务规则(SOC突变/电压越限)
箱线图DBSCANSOC
10
数据标准化与归一化
Min-Max归一化,Z-Score标准化,RobustScaler,储能应用场景
归一化Robust缩放
11
时间序列处理
时间戳统一(to_datetime),设置时间索引,重采样(resample)降采样/升采样
时间序列resample索引
12
滑动窗口技术
滚动统计(rolling),滑动平均与滑动标准差,SOC平滑应用
rolling滑动平均SOC
13
数据对齐与合并
多源对齐(merge/concat),BMS与PCS时间对齐,处理时间不同步
mergeconcat对齐
14
特征工程基础
时间特征(小时/星期/季节),统计特征(均值/方差/极差),物理特征(充放电标记)
特征工程时间特征统计
15
数据切片与筛选
条件筛选(query/布尔索引),按时间段切片,按工况切片(充电/放电/静置)
query切片工况
16
数据聚合与分组
groupby操作,按电池簇/模组聚合,按日/周/月聚合统计
groupby聚合电池簇
17
数据变换
对数变换、Box-Cox变换,差分运算(diff),累积运算(cumsum)
对数变换diffcumsum
18
数据降维
主成分分析(PCA)简介,t-SNE简介,储能特征降维应用
PCAt-SNE降维
19
数据采样与平衡
过采样(SMOTE)、欠采样,处理不平衡的故障数据
SMOTE欠采样不平衡
20
数据质量评估
完整性、准确性、一致性、时效性评估,构建数据质量报告
质量评估完整性报告
21
数据管道构建
使用Pipeline构建清洗流程,函数封装与模块化,配置文件管理
Pipeline模块化配置
22
自动化清洗脚本
编写自动化清洗函数,异常检测与修复自动化,定时任务调度
自动化定时任务脚本
23
数据版本管理
使用DVC进行数据版本控制,数据快照与回滚,数据血缘追踪
DVC版本控制血缘
24
数据存储优化
Parquet格式存储,HDF5格式,数据压缩与分片存储
ParquetHDF5压缩
25
数据安全与隐私
数据脱敏处理,访问权限控制,数据加密存储
脱敏权限加密
26
数据可视化(上)
Matplotlib基础绘图(折线图/散点图/直方图),储能数据时序可视化
Matplotlib折线图时序
27
数据可视化(下)
Seaborn高级绘图(热力图/箱线图/配对图),交互式可视化Plotly基础
Seaborn热力图Plotly
28
数据预处理最佳实践
常见陷阱与避坑指南,性能优化(向量化/chunksize),代码规范与文档
最佳实践向量化规范
29
综合实战案例(一)
从原始BMS数据到清洗后数据集完整流程,SOC与SOH数据清洗实战
实战SOCSOH
30
综合实战案例(二)
多源数据融合清洗,构建训练数据集,数据预处理报告生成
多源融合训练集报告