储能实时数据流处理与监控系统实战

📚 共计 30 章节

储能系统概述

储能行业背景、BMS/EMS/PCS架构、数据流处理价值

Python环境与工具链

Anaconda、VS Code、虚拟环境、必备库安装

数据采集基础

Modbus TCP、pymodbus读取BMS、校验与异常

实时数据流架构

生产者-消费者、Kafka vs RabbitMQ、Topic/Partition

Kafka生产者实战

Python API、批量/异步发送、分区策略与键值

Kafka消费者实战

消费者组、再均衡、手动提交、幂等性事务

数据序列化与反序列化

JSON/Protobuf/Avro、Schema Registry、动态类型

序列化Schema

流处理引擎入门

Flink/Spark Streaming/Kafka Streams、Python对接

Flink Python API实战

Table API、DataStream API、窗口函数

实时数据清洗

缺失值、异常检测(3-Sigma/IQR)、对齐与重采样

清洗异常检测

状态计算与聚合

滚动聚合、滑动平均、复杂事件处理(CEP)

时序数据库选型

InfluxDB/TimescaleDB/TDengine、存储模型与策略

时序库选型

Python写入/查询、连续查询、降采样、生命周期

实时监控指标设计

SOC/SOH/SOP计算、一致性评估、热失控预警

规则引擎与告警

Drools/Python规则引擎、阈值/趋势/组合告警

规则引擎告警

WebSocket实时推送

FastAPI+WebSocket、前端实时图表、心跳机制

WebSocket推送

可视化大屏设计

ECharts+Vue3、实时仪表盘、数据钻取联动

数据质量监控

延迟检测、完整性校验、Schema兼容性检查

Kafka调优、批量大小、内存GC、异步IO

容错与高可用

重试机制、死信队列、检查点与状态后端

容错高可用

安全与权限

Kafka SSL/TLS、SASL、InfluxDB RBAC、API密钥

数据回放与历史分析

Kafka重放、时间旅行查询、历史趋势对比

边缘计算与云边协同

边缘预处理、云端模型下发、断网续传

机器学习集成

异常检测(Isolation Forest)、SOC预测(LSTM)、在线学习

Docker、Compose、Kubernetes、Helm Chart

日志与监控

ELK Stack、Prometheus+Grafana、自定义Metrics

pytest单元测试、Testcontainers集成、locust性能

项目实战（上）

需求分析、架构设计、数据流拓扑、模块划分

项目实战（中）

核心代码实现、联调测试、性能压测优化

项目实战（下）

部署上线、运维监控、故障演练、总结展望