01
数据清洗概述
数据质量问题的来源 · 清洗定义与目标 · 在数据治理中的位置
概念基础
02
数据质量维度
完整性 · 准确性 · 一致性 · 时效性 · 唯一性 · 规范性
维度评估
03
数据剖析与探索
Pandas概览 · describe() · info() · head() · shape · dtypes
PandasEDA
04
缺失值处理（上）
缺失值识别 · 统计 · 可视化 (missingno库)
缺失值可视化
05
缺失值处理（下）
dropna · fillna · interpolate · KNN填充
填充插值
06
重复数据处理
duplicated · drop_duplicates · 业务逻辑去重
重复值去重
07
异常值检测（上）
Z-score · IQR · 箱线图分析
统计学箱线图
08
异常值检测（下）
孤立森林 · LOF · 异常值处理策略
机器学习异常
09
数据类型转换
astype · to_datetime · 分类数据类型
类型datetime
10
字符串清洗（上）
大小写转换 · 去空格 · 替换 · 正则基础
字符串正则
11
字符串清洗（下）
re模块 · 模式匹配 · 提取分割 · 文本清洗场景
正则进阶提取
12
格式标准化
日期统一 · 电话格式化 · 身份证校验 · 地址标准化
格式化校验
13
数据合并与连接
concat · merge · join · 键冲突 · 重复列名
合并SQL风格
14
数据重塑与透视
pivot_table · melt · stack/unstack · crosstab
透视重塑
15
数据分箱与离散化
等距分箱 · 等频分箱 · 自定义分箱 · 编码处理
分箱离散化
16
编码与映射
LabelEncoder · OneHotEncoder · map · replace
编码映射
17
时间序列数据处理
时间戳解析 · 重采样 · 滑动窗口 · 时间差
时间序列滑动
18
数据采样与平衡
随机采样 · 分层采样 · SMOTE · 欠采样
采样不平衡
19
数据脱敏与隐私保护
敏感字段识别 · 掩码/泛化/扰动 · 差分隐私
脱敏隐私
20
数据质量规则引擎
定义规则 · 自动化检查 · 质量评分卡
规则评分卡
21
数据血缘与溯源
数据血缘概念 · 字段级追踪 · 溯源方法
血缘溯源
22
数据清洗Pipeline构建
sklearn Pipeline · 自定义Transformer · 流程编排
Pipeline自动化
23
数据清洗自动化脚本
可复用函数 · 参数化配置 · 定时调度
脚本调度
24
数据清洗性能优化
向量化 · chunksize · Dask · Modin
性能大数据
25
数据清洗中的错误处理
异常捕获 · 日志 · 断点续传 · 质量报告
错误处理日志
26
实战案例：电商订单
缺失地址 · 重复订单 · 异常金额
电商实战
27
实战案例：金融交易
时间戳乱序 · 金额精度 · 风控标签
金融风控
28
实战案例：医疗健康
诊断编码 · 年龄异常 · 隐私脱敏
医疗HIPAA
29
实战案例：日志数据
非结构化日志 · 关键字段提取 · 去重聚合
日志解析
30
总结与最佳实践
流程标准化 · 文档化 · 版本控制 · 持续监控
总结最佳实践