01
景气度数据概述
什么是景气度数据 · 官方统计/行业报告/爬虫 · 清洗重要性
概念来源
02
环境搭建与工具准备
Python环境 · Pandas/NumPy安装 · Jupyter Notebook
配置工具
03
数据读取与初步探索
CSV/Excel读取 · head/info/describe · 数据类型概览
读取探索
04
缺失值处理（上）
识别缺失值 · missingno可视化 · dropna删除
缺失可视化
05
缺失值处理（下）
fillna填充 · ffill/bfill · 插值法 · 模型预测填充
填充插值
06
重复值处理
duplicated识别 · drop_duplicates · 基于特定列处理
重复去重
07
异常值检测与处理（上）
Z-score/IQR · 箱线图/散点图可视化
统计可视化
08
异常值检测与处理（下）
孤立森林/LOF · 删除/修正/盖帽法
模型策略
09
数据格式统一
日期统一(to_datetime) · 字符串清洗 · 数值转换
格式清洗
10
数据标准化与归一化
Min-Max · Z-score · RobustScaler · 景气度应用
标准化归一化
11
数据离散化
等宽/等频离散化 · 自定义分箱 · One-Hot编码
分箱编码
12
数据合并与连接
concat纵向 · merge横向(inner/left/right/outer) · 索引处理
合并连接
13
数据分组与聚合
groupby · 多级分组 · agg/transform · 自定义函数
分组聚合
14
时间序列数据处理（上）
重采样(resample) · 滑动窗口(rolling) · 时间偏移(shift)
时间序列窗口
15
时间序列数据处理（下）
差分运算 · ADF检验 · 季节性分解
平稳性分解
16
数据透视表与交叉表
pivot_table · crosstab · 边际汇总
透视交叉
17
文本数据清洗
正则表达式(re) · 提取关键信息 · 去除噪声
文本正则
18
多源数据整合
API数据获取 · SQLAlchemy · 不同数据源对齐
多源整合
19
数据质量评估
完整性 · 准确性 · 一致性 · 及时性
质量评估
20
数据清洗流水线构建
函数封装 · Pipeline类 · 参数化配置
流水线封装
21
数据版本控制
DVC数据版本管理 · 快照/回滚 · 协同Git
版本DVC
22
大规模数据清洗（上）
Dask并行处理 · 分块读取 · 内存优化
Dask并行
23
大规模数据清洗（下）
Spark分布式清洗 · 分区策略 · 缓存持久化
Spark分布式
24
数据清洗自动化
自动化脚本 · Airflow调度 · 定时清洗任务
自动化调度
25
数据清洗文档化
Sphinx文档 · Docstring · 数据血缘记录
文档血缘
26
案例实战（一）
制造业PMI数据清洗 · 处理官方混乱格式
PMI实战
27
案例实战（二）
消费者信心指数清洗 · 异常值与缺失值处理
信心指数问卷
28
案例实战（三）
房地产景气指数清洗 · 多源整合与时间对齐
房地产对齐
29
案例实战（四）
构建综合景气度指数 · 特征工程与指数合成
综合指数特征
30
课程总结与展望
最佳实践回顾 · 自动化/AI辅助清洗 · 学习路径
总结趋势