特征工程：特征构建、特征选择、特征缩放

聊到数据挖掘，很多人第一反应就是模型选哪个、参数怎么调。但我做了这么多年项目，实话告诉你——特征工程才是真正决定模型上限的地方。你模型再牛，喂进去的是垃圾特征，出来的只能是垃圾结果。

这一章，咱们就好好聊聊特征工程的三个核心环节：特征构建、特征选择、特征缩放。这三个东西，说白了就是：造特征、挑特征、统一特征的尺子。

一、特征构建：从原始数据里“挖”出新特征

特征构建，就是根据你对业务的理解，从已有的原始数据里创造新的特征。我见过太多人，拿到数据就直接往模型里塞，结果效果差得离谱。

为什么会这样？因为原始数据往往太“原始”了。比如你有一个“注册时间”字段，模型根本不知道这个时间意味着什么。但如果你把它转化成“注册天数”、“是否周末注册”、“注册时段”，模型就能学到更多信息。

常见的特征构建方法

• 数值型特征组合：比如“价格/面积”得到“单价”，“总销售额/客户数”得到“客单价”。我在电商项目中经常这么干。
• 时间特征拆解：年、月、日、星期几、是否节假日、距离上次登录的天数。嗯，这里要注意——时间特征往往藏着很强的周期性规律。
• 文本特征提取：比如用户评论的长度、情感得分、关键词数量。我曾经做过一个舆情分析项目，光靠“评论长度”这一个特征，就把模型提升了5个点。
• 聚合特征：按用户分组，计算他过去7天的平均消费、最大消费、消费次数。这类特征在风控场景里特别管用。

二、特征选择：别让垃圾特征拖后腿

特征构建完了，你可能造了几百个特征。但问题来了——不是所有特征都有用。有些特征是噪音，有些特征之间高度相关，还有些特征纯粹是冗余。

我记得有一次做信贷评分模型，团队造了300多个特征，结果模型训练时间长得离谱，而且过拟合严重。后来我们做了特征选择，只保留了40个核心特征，效果反而更好。

特征选择的三种主流方法

方法类别	代表方法	适用场景
过滤法	方差阈值、卡方检验、互信息	特征数量巨大，快速筛选
包裹法	递归特征消除（RFE）、前向选择	特征数量适中，追求最优组合
嵌入法	Lasso回归、树模型特征重要性	模型训练过程中自动选择

我个人习惯：先用过滤法快速筛掉明显没用的特征，再用嵌入法（比如Lasso或XGBoost的特征重要性）做精细选择。如果时间充裕，可以再用包裹法调优。

三、特征缩放：让所有特征站在同一起跑线

特征缩放，说白了就是把不同量纲的特征统一到同一个尺度上。你想想看，一个特征是“年龄”（0-100），另一个特征是“年收入”（0-100万），如果不做缩放，模型会天然认为“年收入”更重要——因为它数值大啊。

但这不是模型想要的。模型需要的是特征之间的相对关系，而不是绝对数值。

两种主流缩放方法

• 标准化（Standardization）：将特征转换为均值为0、标准差为1的分布。公式是 (x - mean) / std。适用于数据近似正态分布的场景。
• 归一化（Normalization）：将特征缩放到[0,1]区间。公式是 (x - min) / (max - min)。适用于数据有明确边界、且不要求正态分布的场景。

什么时候不需要特征缩放？

树模型（决策树、随机森林、XGBoost）对特征尺度不敏感，因为它们是基于分裂点做决策的。但像线性回归、SVM、KNN、神经网络这些模型，特征缩放就是必须的。

我建议你养成一个习惯：除非你100%确定不需要，否则一律做特征缩放。反正不费什么事，做了总比没做好。

四、实战中的常见坑

做特征工程这么多年，我踩过的坑真不少。挑几个典型的说说：

1. 特征泄露：用到了未来信息。比如用“用户是否逾期”来预测“用户是否会逾期”，这就是典型的泄露。我曾经在风控项目里犯过这个错，模型在测试集上准确率99%，上线后直接崩了。
2. 过度特征工程：造了几千个特征，结果模型过拟合得一塌糊涂。记住：特征不是越多越好，而是越精越好。
3. 忽略业务含义：有些特征从数学上看很漂亮，但业务上完全说不通。这种特征往往不可靠，换个数据集就失效了。

五、总结一下

特征工程这件事，说难不难，说简单也不简单。核心就三点：

• 特征构建：基于业务理解，把原始数据翻译成模型能理解的语言
• 特征选择：去粗取精，只保留真正有用的特征
• 特征缩放：统一尺度，让模型公平对待每个特征

你想想看，这三个步骤做扎实了，模型的效果至少能提升30%。我见过太多人把时间花在调参上，却忽略了特征工程这个“基本功”。

嗯，这一章就到这里。下一章咱们聊聊数据预处理中的缺失值处理和异常值检测——这两个坑，我踩得比谁都深。