第01章
数据清洗概述
电价数据的特点 · 为什么需要数据清洗 · 通用流程
入门概念
第02章
数据加载与初步探索
Pandas加载CSV/Excel · head/info/describe · 数据类型概览
Pandas探索
第03章
缺失值处理 (上)
识别缺失值 isnull/sum · 原因分析 · 删除 dropna
缺失值删除
第04章
缺失值处理 (下)
填充 fillna · 前向/后向填充 · 插值法 · 模型预测填充
填充插值
第05章
重复值处理
识别 duplicated · 删除 drop_duplicates · 基于关键列处理
重复去重
第06章
异常值检测 (统计法)
3σ原则 · 箱线图 IQR 检测异常值
统计箱线图
第07章
异常值检测 (模型法)
孤立森林 · DBSCAN 聚类检测异常值
机器学习聚类
第08章
异常值处理策略
删除 · 盖帽法 Winsorize · 替换均值/中位数 · 保留标记
策略盖帽
第09章
数据类型转换
to_datetime · astype · category 类型转换
类型转换
第10章
日期时间特征处理
提取年/月/日/星期/小时 · 时间差 · 时间窗口特征
时间特征工程
第11章
数据标准化与归一化
Min-Max · Z-score · RobustScaler
缩放归一化
第12章
数据离散化
等宽分箱 · 等频分箱 · 聚类分箱 · One-Hot编码
分箱编码
第13章
特征编码
Label Encoding · One-Hot · Target Encoding
编码类别
第14章
数据合并与连接
concat · merge (inner/outer/left/right) · join
合并SQL
第15章
数据重塑与透视
pivot_table · melt · stack/unstack
透视重塑
第16章
数据排序与排名
sort_values · rank · nlargest / nsmallest
排序排名
第17章
数据分组与聚合
groupby · agg (sum/mean/count) · transform
分组聚合
第18章
数据采样与分割
随机采样 · 分层采样 · train_test_split
采样分割
第19章
文本数据清洗 (上)
去除空格/特殊字符 · 大小写 · 正则基础 re
文本正则
第20章
文本数据清洗 (下)
正则提取电价信息 · 去除停用词 · 文本标准化
文本NLP
第21章
时间序列重采样
降采样 · 升采样 · resample · 聚合规则
时间序列重采样
第22章
时间序列滑动窗口
rolling · expanding · 滑动均值/标准差
滑动窗口特征
第23章
数据质量报告生成
pandas-profiling/ydata-profiling · 自定义质量检查
质量报告
第24章
数据清洗Pipeline构建
sklearn Pipeline · 自定义Transformer · 自动化
Pipeline自动化
第25章
大规模数据清洗优化
分块读取 chunksize · Dask并行 · 内存优化
大数据Dask
第26章
数据版本控制
DVC · 清洗前后对比 · 数据血缘追踪
版本控制DVC
第27章
数据清洗最佳实践
可复用函数 · 日志监控 · 清洗文档
最佳实践工程
第28章
电价数据专项清洗 (上)
负值处理 · 尖峰/谷值 · 节假日效应
电价领域
第29章
电价数据专项清洗 (下)
市场结算异常 · 设备故障 · 多源对齐
电价实战
第30章
综合实战案例
原始电价 → 干净特征 · 模型输入数据准备
完整流程项目