金融监管数据清洗与治理秘籍

📚 共计 30 章节
01
监管数据治理概述
什么是金融监管数据、数据治理的核心目标、监管合规要求(巴塞尔协议、银保监会数据治理指引)
巴塞尔合规
02
数据质量维度解析
完整性、准确性、一致性、及时性、唯一性——每个维度的定义与业务影响
维度质量
03
数据源识别与分类
内部系统数据(核心银行、信贷、风控)、外部数据(征信、工商、舆情)、非结构化数据(合同、影像)
内部外部非结构化
04
数据血缘分析
从源头到报表的链路追踪,如何绘制数据血缘图,血缘分析工具介绍
血缘链路
05
元数据管理
元数据定义、业务元数据与技术元数据、元数据仓库建设思路
元数据仓库
06
数据标准制定
字段命名规范、代码值域标准、日期格式统一、金额精度约定
标准规范
07
数据质量规则引擎
规则定义(非空校验、值域校验、逻辑校验)、规则配置化、规则执行与告警
规则告警
08
数据清洗实战(一)
缺失值处理——删除、填充(均值、中位数、前向填充)、模型预测填充
缺失值填充
09
数据清洗实战(二)
异常值检测——3σ原则、箱线图法、孤立森林、基于业务规则的异常识别
异常箱线图
10
数据清洗实战(三)
重复数据处理——完全重复、部分重复、基于关键字段的去重策略
去重重复
11
数据清洗实战(四)
格式标准化——日期格式统一、电话号码清洗、身份证号校验与脱敏
标准化脱敏
12
数据清洗实战(五)
跨表数据关联与一致性校验——客户信息一致性、交易对手匹配
关联一致性
13
数据转换与ETL
ETL流程设计、数据抽取策略(全量/增量)、数据转换函数、数据加载模式
ETL增量
14
监管报表数据准备
1104报表、EAST报表、人行大集中报表的数据字段映射与预处理
1104EAST
15
数据脱敏与隐私保护
动态脱敏、静态脱敏、差分隐私、监管沙箱环境下的数据使用
脱敏隐私
16
数据质量监控体系
监控指标设计(DQ Score)、监控看板、异常预警与工单流转
监控看板
17
数据治理组织与流程
数据治理委员会、数据所有者、数据管家、问题处理SLA
组织SLA
18
数据治理工具选型
开源工具(Apache Atlas、Griffin、DataHub)与商业工具(Informatica、Collibra)对比
开源商业
19
数据治理成熟度评估
CMMI-DMM模型、DCMM评估框架、自评与改进路径
成熟度DCMM
20
监管数据报送自动化
调度引擎(Airflow、DolphinScheduler)、数据校验前置、报送日志审计
调度审计
21
数据质量根因分析
从报表错误反推数据链路问题,常见根因分类(源系统、ETL、手工录入)
根因链路
22
数据治理案例(一)
某银行客户信息治理——从多源异构到统一视图
银行客户
23
数据治理案例(二)
某券商风险数据治理——VaR计算的数据质量保障
券商VaR
24
数据治理案例(三)
某保险公司偿付能力数据治理——偿二代二期工程实践
保险偿二代
25
数据治理与AI
机器学习在数据质量检测中的应用(异常检测、数据修复建议)
AI异常检测
26
数据治理合规审计
监管现场检查的数据准备、数据治理文档体系、整改跟踪
审计合规
27
数据治理与数据中台
数据中台架构下的治理职责、数据资产目录、数据服务化
中台资产
28
数据治理的未来趋势
Data Mesh、Data Fabric、主动元数据、AI驱动的治理
MeshFabric
29
数据治理实战项目(一)
搭建一个完整的监管数据治理流水线(需求分析到上线)
实战流水线
30
数据治理实战项目(二)
数据治理效果评估与持续优化——ROI计算、治理报告撰写
ROI优化