01
数据预处理概述
为什么需要数据预处理 · 缺失值/异常值/重复值/量纲不一致 · 量化投资中的重要性
基础概念
02
数据加载与初步探索
pandas读取CSV/Excel/数据库 · info()/describe() · 数据形状与列名
pandas入门
03
缺失值处理 (上)
缺失值产生原因 · missingno可视化 · dropna删除
缺失值可视化
04
缺失值处理 (下)
fillna填充 · 前向/后向填充 · interpolate插值 · 模型预测填充
填充插值
05
异常值检测 (上)
3σ原则 · Z-score · 箱线图IQR方法
统计箱线图
06
异常值检测 (下)
KNN距离 · LOF密度 · 孤立森林
机器学习无监督
07
异常值处理
删除 · Winsorize截尾 · 均值/中位数替换 · 视为缺失值
清洗稳健
08
重复值处理
duplicated检测 · drop_duplicates删除 · 业务逻辑去重
去重数据质量
09
数据类型转换
数值/类别转换 · to_datetime · astype / pd.to_numeric
类型时间序列
10
标准化与归一化 (上)
Min-Max · Z-score · RobustScaler
缩放鲁棒
11
标准化与归一化 (下)
MaxAbsScaler · 均值归一化 · 向量归一化 · 选择策略
归一化对比
12
数据离散化
等宽/等频 · 聚类离散 · One-Hot编码
分箱编码
13
特征工程基础
特征提取 · 特征构造 · 特征选择概念
特征概述
14
时间序列特征处理
Lag滞后 · Rolling滚动 · Expanding扩展窗口
时序滑窗
15
截面数据处理
横截面排序 · 截面标准化 · 行业中性化
截面中性化
16
去极值处理
MAD法 · 百分位法 · 分位数截尾
极值稳健
17
中性化处理
市值中性化 · 行业中性化 · 多因子中性化
中性化风险调整
18
数据对齐与重采样
asfreq对齐 · resample重采样 · 向前/向后填充
重采样对齐
19
数据合并与拼接
concat/merge/join · 多表键冲突处理
合并SQL风格
20
数据分组与聚合
groupby · agg聚合 · transform与apply区别
分组聚合
21
数据透视表与交叉表
pivot_table · crosstab · 多层索引
透视交叉
22
数据滑动窗口
rolling窗口 · expanding窗口 · ewm指数加权移动平均
滑窗EWM
23
因子去相关性
皮尔逊/斯皮尔曼相关系数 · Gram-Schmidt正交化
相关性正交
24
因子IC分析
IC信息系数 · IC序列 · ICIR信息系数比率
IC评价
25
因子分组回测
分组收益 · 多空组合 · 因子收益率分析
回测多空
26
数据存储与版本管理
HDF5/Parquet/Feather · DVC版本控制
存储DVC
27
数据管道构建
sklearn Pipeline · 自定义Transformer · 自动化流程
管道自动化
28
大数据量处理技巧
chunksize分块 · Dask并行 · downcast内存优化
大数据性能
29
数据质量监控
完整性检查 · 一致性检查 · 数据漂移检测
监控漂移
30
综合实战案例
从原始行情到最终因子矩阵 · 完整预处理流程
实战全流程