01
储能数据采集概述
BMS/PCS/EMS/电表数据源 · 高频多协议挑战 · ETL角色
数据源采集挑战
02
数据源与通信协议
Modbus RTU/TCP · CAN · IEC 61850 · MQTT vs OPC UA
ModbusCANIEC61850
03
数据采集架构设计
边缘vs云端 · 网关选型 · 压缩策略 · 缓存与断点续传
边缘采集架构
04
BMS数据采集实战
电压/温度/SOC/SOH · 协议适配 · Python+Modbus实现
BMSPython
05
PCS数据采集实战
运行状态/告警 · 功率指令 · Python+CAN实现
PCSCAN
06
EMS与电表数据采集
调度指令/日志 · 智能电表 · Python+DL/T645
EMS电表
07
数据质量与清洗
缺失值处理 · 异常检测(3σ/IQR/DBSCAN) · 去重对齐
清洗质量
08
ETL流程设计基础
抽取/转换/加载 · ETL vs ELT · Airflow/NiFi/Kettle
ETL工具
09
数据抽取（Extract）策略
全量vs增量 · 时间戳/CDC · 性能优化
增量抽取CDC
10
数据转换（Transform）策略
格式转换 · 标准化/归一化 · 聚合降采样 · 脱敏加密
转换脱敏
11
数据加载（Load）策略
批量vs流式 · MySQL/PostgreSQL · InfluxDB/TimescaleDB · 数据湖
加载时序库
12
时序数据库选型与设计
InfluxDB模型 · TimescaleDB超表 · 写入查询优化
InfluxDBTimescaleDB
13
数据建模与存储设计
维度/事实表 · 分区分桶 · 生命周期 · 压缩优化
建模分区
14
实时ETL与流处理
Flink/Spark Streaming/Kafka Streams · Kafka管道 · 实时写入
流处理Kafka
15
批处理ETL与调度
Airflow DAG · 定时调度 · 质量校验 · 性能调优
批处理调度
16
数据血缘与元数据管理
血缘概念 · 元数据采集 · Atlas/DataHub · 数据目录
血缘元数据
17
数据质量监控与告警
质量规则 · Great Expectations · 邮件/钉钉/企微告警
监控告警
18
数据安全与权限管理
TLS/AES加密 · 脱敏 · RBAC/ABAC · 审计合规
安全权限
19
ETL性能优化
并行分区 · 数据倾斜 · 内存GC · 瓶颈分析
性能调优
20
数据可视化与报表
Grafana仪表盘 · Superset · 数据大屏 ECharts/DataV
可视化大屏
21
数据API与服务化
RESTful设计 · FastAPI/Flask · 订阅推送 · API网关
APIFastAPI
22
数据治理与标准化
命名/单位/编码规范 · 质量评估 · 治理工具
治理标准
23
储能数据应用场景
SOH评估 · 效率分析 · 充放电策略 · 故障预警
应用SOH
24
案例实战·储能电站(一)
项目背景 · 架构设计 · 数据源与采集方案
实战架构
25
案例实战·储能电站(二)
ETL流程 · 存储建模 · 可视化报表
ETL建模
26
案例实战·储能电站(三)
质量监控 · 性能优化 · 项目复盘
监控优化
27
开源工具与框架实践
NiFi · Airflow · Flink · Kafka
NiFiAirflowFlink
28
云原生ETL实践
K8s部署 · Docker容器 · 云存储 · Serverless ETL
云原生K8s
29
前沿技术与发展趋势
边缘AI · 数字孪生 · Data Fabric · 互操作性
前沿趋势
30
课程总结与项目答辩
知识体系 · 答辩技巧 · 面试题 · 进阶路径
总结答辩