01
金融数据清洗概述
数据清洗的定义 · 金融数据的特点 · 清洗的重要性与挑战
概念基础
02
数据质量维度
完整性 · 准确性 · 一致性 · 时效性 · 唯一性 · 规范性
质量框架
03
缺失值处理
缺失值识别 · 删除法 · 填充法(均值/中位数/众数/前向填充) · 插值法
清洗统计
04
异常值检测
3σ原则 · 箱线图法 · IQR方法 · Z-Score · DBSCAN聚类检测
检测算法
05
重复数据处理
完全重复与部分重复 · 基于关键字段去重 · 相似度匹配去重
去重匹配
06
数据类型转换
字符串转数值 · 日期格式统一 · 分类变量编码 · 时间戳处理
转换编码
07
文本数据清洗
去除空格与特殊字符 · 大小写统一 · 繁体转简体 · 正则表达式
文本正则
08
日期时间标准化
常见日期格式识别 · 时区处理 · 交易日历对齐 · 时间序列重采样
时间日历
09
数值数据规范化
归一化(Min-Max) · 标准化(Z-score) · 对数变换 · 分箱处理
缩放分箱
10
分类数据编码
Label Encoding · One-Hot Encoding · Target Encoding · WOE编码
编码特征工程
11
数据一致性校验
跨字段逻辑校验 · 业务规则校验 · 参照完整性检查
校验规则
12
金融特有数据清洗
股票代码标准化 · ISIN/CUSIP格式校验 · 货币单位统一
金融标识
13
交易数据清洗
买卖方向标准化 · 成交量复权处理 · 价格极值过滤 · 盘口数据清洗
交易复权
14
财务报表清洗
科目名称映射 · 报表周期对齐 · 合并报表与母公司报表区分
财务报表
15
时间序列数据清洗
跳空处理 · 节假日填充 · 非交易时间剔除 · 滚动窗口平滑
时序平滑
16
数据脱敏与隐私保护
敏感字段识别 · 脱敏方法(掩码/泛化/扰动) · 合规要求
隐私合规
17
数据集成与合并
多源数据对齐 · Schema映射 · 主键冲突解决 · 增量合并策略
集成合并
18
清洗规则引擎设计
规则定义语法 · 规则优先级 · 规则组合与编排 · 版本管理
引擎规则
19
自动化清洗流水线
ETL流程设计 · Airflow/Dagster调度 · 监控与告警 · 断点续跑
调度流水线
20
数据质量监控
质量指标定义 · 质量看板设计 · 阈值告警 · 质量趋势分析
监控看板
21
清洗效果评估
清洗前后对比 · 准确率/召回率 · 业务验证 · A/B测试
评估指标
22
Pandas清洗实战
DataFrame操作 · 链式方法 · apply函数 · 向量化处理
Pandas实战
23
PySpark大数据清洗
分布式DataFrame · UDF函数 · 分区优化 · 内存管理
Spark大数据
24
SQL清洗技巧
窗口函数 · CASE WHEN · 正则表达式 · 临时表与CTE
SQL查询
25
清洗工具链
Great Expectations · Deequ · pandas-profiling · ydata-profiling
工具质量
26
金融数据标准体系
ISO 20022 · FIX协议 · XBRL标准 · 行业数据字典
标准协议
27
清洗文档与元数据
数据血缘追踪 · 清洗日志记录 · 规则文档化 · 变更管理
文档元数据
28
案例实战：股票行情数据清洗
从Tushare/Wind获取数据后的全流程清洗
案例股票
29
案例实战：基金净值数据清洗
复权处理 · 分红调整 · 净值异常检测
案例基金
30
案例实战：银行交易流水清洗
反洗钱场景下的交易模式识别与清洗
案例银行