01
数据清洗概述
投研数据特点 · 脏数据来源与类型 · 清洗在投研流程中的位置
概念投研基础
02
环境搭建
Python/Pandas安装 · Jupyter配置 · 投研数据源模拟(CSV/Excel/API)
工具配置
03
数据读取与初步探索
read_csv/read_excel · head/tail/info/describe · 数据类型概览
Pandas探索
04
缺失值处理 (上)
缺失值检测 isnull/notnull · 缺失值统计与可视化
缺失值可视化
05
缺失值处理 (下)
删除缺失值 dropna · 填充 fillna · 插值法 interpolate
清洗插值
06
重复值处理
重复值检测 duplicated · 删除 drop_duplicates · 业务逻辑去重
去重业务
07
异常值处理 (上)
基于统计的异常检测 Z-score / IQR · 箱线图可视化
异常统计
08
异常值处理 (下)
基于业务规则的异常过滤 · 异常值替换与修正
业务规则修正
09
数据类型转换
astype · 日期时间 to_datetime · 分类数据 category
类型时间
10
字符串清洗 (上)
去除空格/特殊字符 strip/replace · 大小写统一 lower/upper
字符串格式化
11
字符串清洗 (下)
正则表达式 re模块 · 复杂模式匹配与提取
正则提取
12
列名规范化
列重命名 rename · 统一命名风格 snake_case · 列名映射
命名规范
13
索引处理
重置索引 reset_index · 设置索引 set_index · 多层索引处理
索引MultiIndex
14
数据合并 (上)
concat 纵向合并 · append 使用场景
合并纵向
15
数据合并 (下)
merge 横向合并 inner/outer/left/right · 键值匹配
合并Join
16
数据重塑
pivot / melt · 宽表转长表 · 长表转宽表
重塑透视
17
分组与聚合 (上)
groupby 基础 · 常用聚合函数 sum/mean/count
分组聚合
18
分组与聚合 (下)
transform / apply · 自定义聚合函数
高级函数
19
时间序列清洗 (上)
时间序列重采样 resample · 滑动窗口 rolling
时间序列滑动
20
时间序列清洗 (下)
时区处理 · 缺失值填充 · 异常检测
时区异常
21
财务数据清洗实战 (上)
股票行情数据清洗 · 复权价格计算
财务股票
22
财务数据清洗实战 (下)
财务报表数据清洗 · 财务比率计算
报表比率
23
文本数据清洗
分词 jieba · 停用词过滤 · TF-IDF基础
文本NLP
24
数据标准化与归一化
MinMaxScaler · StandardScaler · RobustScaler
缩放预处理
25
数据分箱与离散化
cut / qcut · 等宽分箱 · 等频分箱
分箱离散
26
数据抽样
随机抽样 sample · 分层抽样 · 时间序列抽样
抽样采样
27
数据质量报告
自动化生成数据质量报告 · 数据质量评分卡
质量报告
28
清洗流程自动化
编写可复用清洗函数 · Pipeline构建
自动化Pipeline
29
数据清洗最佳实践
版本控制 Git · 清洗日志记录 · 结果验证
最佳实践Git
30
综合实战项目
从原始投研数据到干净可用数据集的完整流程
实战全流程