数据质量监控体系从0到1实战

📚 共计 30 章节

数据质量概述

什么是数据质量 · 重要性 · 维度：准确性、完整性、一致性、及时性、唯一性

监控体系设计原则

从业务出发 · 自动化优先 · 分级告警 · 闭环处理

数据质量监控技术选型

开源对比 (Great Expectations, Deequ, Griffin) · 自研 vs 采购

数据质量元数据管理

数据源注册 · 表结构采集 · 字段级元数据 · 血缘关系

元数据血缘

数据质量规则引擎

规则定义 (SQL模板/Python) · 分类：空值、重复、值域、业务逻辑

数据质量规则配置

规则模板化 · 参数化配置 · 优先级 · 依赖关系

数据质量监控调度

定时调度 (Cron) · 事件驱动 · 数据就绪触发

监控执行引擎

分布式执行 · 任务队列 · 执行日志 · 失败重试

引擎分布式

监控结果存储

结果表设计 · 历史趋势 · 异常快照存储

数据质量告警通知

告警级别 P0-P3 · 渠道：邮件/钉钉/短信 · 聚合降噪

数据质量监控看板

实时大屏 · 历史趋势 · 异常分布 · 规则覆盖率

看板可视化

数据质量评分卡

表/字段评分 · 加权平均 · 扣分制算法

数据质量报告

日报/周报/月报 · 报告模板 · 自动生成与分发

报告自动化

数据质量闭环处理

异常发现 · 定位 · 修复验证 · 复盘总结

数据质量与数据治理

数据标准 · 字典 · 资产目录 · 安全

数仓分层监控

ODS · DWD · DWS · ADS 层监控实践

实时数据流监控

Kafka 消息质量 · Flink 作业监控 · 实时告警

机器学习数据质量

特征检查 · 训练分布漂移 · 模型输入校验

BI报表数据质量

报表一致性 · 指标口径校验 · 刷新延迟监控

数据湖质量监控

湖仓一体 · Iceberg/Hudi 监控 · 文件级别校验

数据湖Iceberg

API数据服务监控

接口返回校验 · 响应时间 · 数据格式校验

数据迁移质量监控

迁移前比对 · 迁移中校验 · 迁移后一致性

数据中台质量监控

数据服务SLA · 资产质量 · 交换质量

金融行业实践

监管合规 · 风控质量 · 交易一致性

电商行业实践

订单质量 · 库存准确性 · 用户画像完整性

医疗行业实践

患者隐私 · 诊疗一致性 · 药品准确性

物联网行业实践

传感器质量 · 时序异常检测 · 设备完整性

监控体系运维

监控自身监控 · 规则生命周期 · 性能优化 · 容量规划

体系评估与改进

质量指标 · 覆盖率 · 问题发现/解决率

AI驱动质量监控 · 数据质量即代码 · Data Observability