因子挖掘 · 特征工程与降维技术

📚 共计 30 章节

特征工程导论

为什么需要特征工程？特征工程在因子挖掘中的核心地位。

核心概念定位

数据清洗基础

处理缺失值、异常值、重复值的基本方法。

预处理质量

单变量特征构造

基于数学变换（对数、平方根、Box-Cox）构造新特征。

变换非线性

双变量特征构造

加减乘除、比率、差值等组合特征。

时间序列特征（上）

滞后特征、滚动窗口统计量（均值、标准差）。

时间序列特征（下）

差分、累积和、季节性分解。

分类特征编码

One-Hot编码、Label编码、Target编码。

文本特征提取

TF-IDF、词袋模型在因子描述中的应用。

GroupBy操作与统计聚合（按行业、市值分组）。

高阶交互特征的构造与爆炸问题。

特征选择导论

过滤法、包裹法、嵌入法的概念与对比。

过滤法（上）

方差阈值、相关系数、卡方检验。

过滤法（下）

互信息、最大信息系数（MIC）。

互信息非线性

递归特征消除（RFE）、前向/后向选择。

Lasso回归、树模型特征重要性。

正则化重要性

主成分分析（PCA）原理

协方差矩阵、特征值分解、方差解释率。

在因子数据中降维与去噪。

线性判别分析（LDA）

有监督降维与分类导向。

有监督分类

非线性降维与可视化。

可视化流形

自编码器降维

神经网络在特征压缩中的应用。

深度学习压缩

因子正交化

施密特正交化、对称正交化消除因子共线性。

共线性正交

因子标准化

Z-score、Rank标准化、分位数标准化。

标准化尺度

因子中性化

市值中性化、行业中性化处理。

中性化风险

Min-Max缩放、Robust缩放、标准化对比。

处理高基数分类特征

哈希编码、贝叶斯平滑编码。

高基数编码

特征重要性排序

Permutation Importance、SHAP值。

自动化特征工程

Featuretools库与深度特征合成（DFS）。

降维后的因子评估

IC分析、分层回测对比。

过拟合防范

特征数量与样本量的关系、交叉验证策略。

综合实战案例

从原始数据到最终因子库的完整Pipeline。