01
数据清洗概述
什么是数据清洗 · 为什么需要 · 流程与挑战
基础入门
02
数据探索与质量评估
数据概览 · 描述性统计 · 缺失/异常/重复诊断
EDA质量
03
数据读取与写入
CSV · Excel · JSON · 数据库读写
I/OPandas
04
数据类型与结构转换
类型转换 · DataFrame/Series · 索引列名
dtype结构
05
缺失值处理
识别 · 删除 · 填充(均值/中位数/前向/插值)
NaN填充
06
异常值检测与处理
Z-score · IQR · 箱线图 · 孤立森林
异常统计
07
重复值处理
识别 · 删除 · 保留特定重复
去重清洗
08
数据标准化与归一化
Min-Max · Z-score · Robust标准化
缩放预处理
09
数据编码
标签编码 · 独热 · 目标编码 · 序数编码
类别编码
10
特征缩放与变换
对数变换 · Box-Cox · 分箱 · 离散化
变换分箱
11
文本数据预处理
分词 · 停用词 · 词干 · 词形还原 · TF-IDF
NLP文本
12
日期与时间数据处理
日期解析 · 重采样 · 时间窗口
时间序列datetime
13
数据合并与连接
concat · merge · join · append
合并SQL
14
数据分组与聚合
groupby · 聚合函数 · 自定义聚合
分组聚合
15
数据透视表与交叉表
pivot_table · crosstab
透视统计
16
数据排序与排名
sort_values · sort_index · rank
排序排名
17
数据采样与分割
随机采样 · 分层采样 · 训练/验证/测试
采样划分
18
数据降维
PCA · LDA · t-SNE
降维可视化
19
特征选择
过滤法 · 包裹法 · 嵌入法 · 树模型重要性
特征选择
20
数据不平衡处理
SMOTE · 欠采样 · 集成方法
不平衡采样
21
图像数据预处理
读取 · 缩放 · 裁剪 · 旋转 · 归一化 · 增强
图像CV
22
音频数据预处理
音频读取 · 重采样 · 分帧 · MFCC
音频特征
23
时间序列数据预处理
平稳性 · 差分 · 季节性分解 · 滑动窗口
时间序列滑动
24
数据管道构建
sklearn Pipeline · 自定义Transformer · 自动化
管道自动化
25
数据质量监控与报告
质量指标 · 自动化检查 · 数据血缘
监控质量
26
大数据环境下的数据预处理
Spark DataFrame · 分布式清洗
Spark大数据
27
数据清洗工具与库
Pandas · NumPy · sklearn · OpenRefine · Great Expectations
工具生态
28
实战案例一：电商用户行为
电商用户行为数据清洗
实战电商
29
实战案例二：金融风控
金融风控数据预处理
实战金融
30
最佳实践与总结
常见陷阱 · 效率优化 · 文档与可复现性
总结最佳实践