合规数据治理与清洗实战手册

📚 共计 30 章节

数据治理概述

数据治理的定义、目标与核心原则，数据治理与数据管理的区别。

数据治理框架与标准

DAMA-DMBOK框架、DCMM标准、COBIT框架简介。

数据治理组织与角色

数据治理委员会、数据所有者、数据管家、数据使用者的职责。

数据治理策略与制度

数据治理章程、数据标准、数据政策、数据流程的制定。

数据资产盘点

数据资产的定义、分类与识别方法，数据资产目录的构建。

元数据管理

元数据的类型（技术元数据、业务元数据、管理元数据），元数据采集与存储。

技术业务管理

主数据管理

主数据的概念、识别与建模，主数据管理平台建设。

主数据建模

数据标准管理

数据标准分类（基础标准、指标标准、代码标准），标准制定与落地。

基础指标代码

数据模型管理

概念模型、逻辑模型、物理模型的设计与管理，数据建模工具。

概念逻辑物理

数据生命周期管理

数据产生、存储、使用、归档、销毁的全流程管理。

生命周期归档

数据质量管理

数据质量维度（完整性、准确性、一致性、及时性、唯一性），质量评估方法。

完整性准确性一致性

数据质量度量与监控

质量指标定义、度量模型、监控看板与告警机制。

度量监控告警

数据质量改进

根因分析、清洗策略、修复流程与持续改进机制。

根因清洗改进

数据安全与隐私保护

数据分级分类、访问控制、加密脱敏、隐私合规（GDPR/PIPL）。

安全脱敏GDPR

数据合规审计

审计目标、审计范围、审计流程与合规报告生成。

数据清洗基础

数据清洗的定义、目标与常见问题类型（缺失值、异常值、重复值、不一致值）。

缺失异常重复

数据清洗工具与平台

Python（Pandas）、SQL、ETL工具（Kettle/DataX）、专业清洗平台。

缺失值处理

缺失值识别、删除法、填充法（均值/中位数/众数/插值/模型预测）。

删除填充插值

异常值检测与处理

统计方法（Z-score/IQR）、距离方法（KNN/LOF）、业务规则法。

重复数据处理

完全重复与部分重复识别，去重策略（保留首条/末条/合并）。

不一致数据处理

格式不一致、编码不一致、单位不一致的识别与标准化。

格式编码单位

数据转换与标准化

数据类型转换、数据归一化/标准化、离散化与分箱。

归一化分箱

数据集成与融合

模式匹配、实体解析（Record Linkage）、数据冲突解决。

集成实体解析

数据脱敏技术

静态脱敏与动态脱敏，脱敏算法（替换/遮蔽/泛化/扰动）。

静态动态泛化

数据血缘与溯源

血缘采集、血缘可视化、影响分析与问题溯源。

数据治理平台建设

平台架构设计、功能模块（目录/质量/安全/血缘）、选型建议。

数据治理项目实战

项目规划、需求分析、实施步骤、交付物与验收标准。

数据治理与AI/ML

训练数据质量、特征工程中的数据清洗、模型偏差与公平性。

数据治理在金融行业的应用

监管合规（巴塞尔协议/反洗钱）、客户数据治理、风险数据治理。

金融反洗钱巴塞尔

数据治理在医疗行业的应用

患者数据治理、临床数据标准化、HIPAA合规与数据共享。

医疗HIPAA临床