📚 ETL · 数据清洗实战
📘 30章 从入门到项目实战
🧑🏫
风格 · 全彩目录
01
ETL概述与数据仓库基础
ODS/DWD/DWS/ADS
OLTP vs OLAP
分层架构
02
数据源接入规范
MySQL/Oracle
JSON/XML/CSV
日志/图片
03
数据探查与质量评估
完整性检查
空值率
唯一性
均值/中位数/标准差
04
数据清洗之空值处理
均值/中位数/众数
默认值
删除策略
业务规则填充
05
数据清洗之异常值处理
3σ原则
箱线图IQR
业务阈值
替换与标记
06
数据清洗之重复数据处理
完全去重
部分字段去重
时间戳保留
滑动窗口
07
数据清洗之格式标准化
日期统一
电话格式化
身份证校验
货币单位
08
数据清洗之字段拆分与合并
列拆分split
列合并concat
JSON解析
嵌套展平
09
数据清洗之编码转换
UTF-8统一
特殊字符转义
emoji处理
乱码修复
10
数据清洗之业务逻辑清洗
枚举值映射
范围校验
关联一致性
跨表逻辑
11
ETL开发之数据抽取 (Extract)
全量抽取
增量抽取/CDC
日志解析
分页策略
12
ETL开发之数据转换 (Transform)
字段映射
类型转换
衍生字段
数据脱敏
13
ETL开发之数据加载 (Load)
全量覆盖
增量追加
拉链表
SCD缓慢变化维
14
ETL调度与依赖管理
调度周期
任务依赖
失败重试
DAG工作流
15
ETL性能优化
并行度
分区裁剪
数据倾斜
小文件合并
内存调优
16
数据质量监控体系
质量规则
告警阈值
质量看板
数据血缘
17
ETL日志与监控
INFO/WARN/ERROR
执行时长
数据量波动
慢任务诊断
18
数据安全与权限管理
脱敏策略
字段级权限
审计日志
加密传输
19
版本控制与代码管理
Git版本管理
环境隔离
Dev/Test/Prod
CI/CD
20
数据字典与元数据管理
数据字典
元数据采集
血缘关系图
影响分析
21
实时ETL与流处理基础
Lambda/Kappa
Kafka接入
Flink/Spark Streaming
22
实时数据清洗
乱序数据
Watermark
迟到数据
状态管理
23
数据湖与数据湖仓一体
Delta Lake/Iceberg/Hudi
ACID事务
时间旅行
24
ETL工具选型对比
Sqoop vs DataX
Kettle vs NiFi
Airbyte
场景分析
25
数据建模与ETL设计
星型模型
雪花模型
事实表/维度表
缓慢变化维
26
ETL测试与数据验证
数据量对比
字段级校验
抽样验证
回归测试
27
数据归档与生命周期管理
冷热分离
分区归档
TTL策略
存储成本优化
28
ETL故障排查与恢复
连接超时/格式异常/内存溢出
断点续传
幂等性
29
数据治理与合规
GDPR/个保法
分类分级
数据水印
审计合规
30
ETL项目实战案例
电商订单ETL
用户行为日志
金融风控
医疗数据标准化
📘 大数据ETL开发与数据清洗规范实战 · 风格目录