01
储能数据仓库概述
储能行业数据特点 · 数据仓库核心概念 · OLTP/OLAP对比 · 分层架构(ODS/DWD/DWS/ADS)
基础架构
02
需求分析与模型设计
业务调研 · 维度建模(星型/雪花型) · 事实表与维度表 · 总线矩阵
建模需求
03
技术选型与环境搭建
Hadoop生态(HDFS/YARN) · MPP选型(ClickHouse/Doris) · 资源规划与部署
选型部署
04
数据采集与接入
BMS协议(Modbus/CAN) · 日志采集(Filebeat/Flume) · Kafka实时采集 · 同步策略
采集实时
05
数据清洗与预处理
质量规则 · 缺失/异常值 · 时间戳标准化 · 设备ID对齐 · 去重
清洗质量
06
ODS层建设
原始数据存储 · 分区表(日期/设备) · 压缩(Snappy/ZSTD) · 生命周期
ODS存储
07
DWD层建设
明细建模 · 维度退化 · 缓慢变化维(SCD) · 拉链表
DWDSCD
08
DWS层建设
轻度汇总 · 聚合指标(SOC/SOH/功率) · 宽表设计 · 预聚合
DWS宽表
09
ADS层建设
应用数据服务 · 报表接口 · 大宽表/物化视图 · 导出策略
ADS服务
10
维度建模实战
时间/设备/电站/电池模组/告警维度
维度实战
11
事实表设计实战
充电/放电/告警/运维工单/环境监测事实
事实表设计
12
ETL调度系统
Airflow/DolphinScheduler · DAG依赖 · 重试告警 · 性能优化
调度ETL
13
数据质量监控
质量指标体系 · 校验规则引擎 · 异常告警 · 数据血缘
质量监控
14
数据安全与权限
脱敏策略 · 行/列级权限 · 审计日志 · 加密存储
安全权限
15
查询引擎选型
Presto/Trino vs Impala · ClickHouse vs Doris · 对比测试
引擎选型
16
SQL查询优化基础
执行计划 · 慢查询定位 · 索引原理 · 分区裁剪
SQL优化
17
ClickHouse查询优化
MergeTree引擎 · 分区排序键 · 物化视图 · 分布式优化
ClickHouse物化视图
18
Doris查询优化
Colocation Group · Rollup · Bucket分桶 · Runtime Filter
Doris分桶
19
Hive查询优化
Tez引擎 · ORC/Parquet · MapJoin/BucketMapJoin · CBO
Hive列式存储
20
实时数仓建设
Lambda/Kappa架构 · Flink CDC · 实时维表关联 · 指标计算
实时Flink
21
数据湖与湖仓一体
Iceberg/Hudi/Delta对比 · 湖仓架构 · ACID · Time Travel
数据湖湖仓
22
数据建模进阶
多值/杂项/微型维度 · 桥接表 · 递归层次
建模进阶
23
大规模数据倾斜处理
Join/Group By倾斜 · 动态分区倾斜 · 随机散列
倾斜调优
24
数据存储优化
冷热分层 · 分级存储 · TTL策略 · 归档清理
存储分层
25
查询性能调优实战
内存/网络调优 · 并发控制 · 资源隔离 · 查询队列
性能调优
26
数据服务接口开发
RESTful API · Data Service · Redis缓存 · 限流降级
API缓存
27
数据可视化与BI集成
Superset/Grafana · 报表优化 · 大屏展示 · 自助分析
可视化BI
28
运维监控与告警
Prometheus+Grafana · 查询/资源监控 · 智能告警
运维监控
29
数据治理与元数据管理
元数据采集 · 数据目录 · 血缘 · 质量评分 · 资产盘点
治理元数据
30
项目实战与总结
全流程实战 · 问题复盘 · 架构演进 · AI+数仓趋势
实战总结