一、共线性问题概述
1.1 什么是多重共线性
多重共线性，说白了就是自变量之间“串通一气”。
我打个比方你就明白了。你想研究“身高”和“体重”对“鞋码”的影响。但身高和体重本身就有很强的相关性——个子高的人通常也更重。这时候，模型就很难分清：到底是身高在起作用，还是体重在起作用？
从数学上讲，就是某个自变量可以被其他自变量线性表示。比如：
X₁ = 2X₂ - 0.5X₃ + ε如果这个ε非常小，那恭喜你，你遇到了共线性问题。
我个人习惯把共线性分成两种：
- 完全共线性：一个变量是其他变量的精确线性组合。这种情况很少见，通常是你编码时搞错了（比如把“性别男”和“性别女”都放进去了）。
- 近似共线性：变量之间高度相关，但不是完全确定。这才是我们日常建模中真正头疼的。
核心要点：共线性不影响模型的预测能力，但会让系数的估计变得极不稳定。你加一个样本，系数可能就翻了个倍。
1.2 共线性的来源
我在项目中遇到过不少共线性的坑。总结下来，来源主要有这几个：
- 数据本身的结构：比如经济数据中，GDP、消费、投资之间天然就高度相关。
- 特征构造不当：你创建了“年龄”和“年龄的平方”，然后又加了“年龄的立方”——它们之间肯定共线。
- 虚拟变量陷阱：把k个类别的变量编码成k个0/1变量，却不丢掉一个。这就是完全共线性。
- 样本量太小：当样本数少于变量数时，共线性几乎是必然的。我记得有一次做基因数据，变量几万个，样本才几百个——那叫一个惨。
避坑指南：我曾经在做一个房价预测模型时，把“房间数”和“卧室数”同时放进了模型。结果两个系数的符号都是负的——这明显不合理。后来一查，相关系数0.92。嗯，这就是典型的共线性导致的系数翻转。
1.3 共线性的危害
共线性到底有多可怕？我列几个实际影响：
- 系数估计不稳定：稍微变动一点数据，系数就大变样。你想想看，这样的模型谁敢用？
- 标准误膨胀：t值变小，本来显著的变量变得不显著了。你可能会误删重要特征。
- 系数符号颠倒：明明应该是正相关，结果系数是负的。这在业务解释上会闹笑话。
- 模型可解释性变差：你没法说“X每增加1个单位，Y增加β个单位”，因为β本身就不靠谱。
一个小经验：如果你发现模型整体R²很高，但各个变量的t值都不显著——十有八九是共线性在作怪。
1.4 诊断指标
1.4.1 方差膨胀因子（VIF）
VIF是我最常用的诊断工具。它的逻辑很简单：把某个自变量Xᵢ作为因变量，用其他所有自变量去回归它，看R²有多大。
VIFᵢ = 1 / (1 - R²ᵢ)如果R²ᵢ=0.9，那VIF=10。这意味着Xᵢ的方差被膨胀了10倍。
我个人习惯的阈值是这样的：
| VIF值 | 共线性程度 | 建议操作 |
|---|---|---|
| VIF < 5 | 轻微 | 通常可忽略 |
| 5 ≤ VIF < 10 | 中等 | 需要关注，考虑处理 |
| VIF ≥ 10 | 严重 | 必须处理 |
计算VIF的代码也很简单：
from statsmodels.stats.outliers_influence import variance_inflation_factor
import pandas as pd
# 假设 X 是你的特征矩阵（不含截距项）
vif_data = pd.DataFrame()
vif_data["feature"] = X.columns
vif_data["VIF"] = [variance_inflation_factor(X.values, i)
for i in range(X.shape[1])]
print(vif_data)注意：VIF对分类变量也适用，但前提是你得先做one-hot编码。另外，VIF不能检测与截距项的共线性——这个得靠别的方法。
1.4.2 条件数
条件数是另一个诊断指标。它看的是设计矩阵XᵀX的特征值。
条件数 = √(λ_max / λ_min)其中λ_max是最大特征值，λ_min是最小特征值。
为什么用这个？你想想看，如果特征值差异很大，说明矩阵在某些方向上“很扁”——这就是共线性的数学表现。
经验规则：
- 条件数 < 30：共线性轻微
- 30 ≤ 条件数 < 100：中等共线性
- 条件数 ≥ 100：严重共线性
计算条件数：
import numpy as np
# 计算条件数
cond_number = np.linalg.cond(X.values)
print(f"条件数: {cond_number:.2f}")我的习惯：VIF和条件数我会一起看。VIF告诉你哪个变量有问题，条件数告诉你整体有多严重。两者结合，诊断更准。
1.5 本章知识体系
下面这张图帮你理清本章的核心逻辑：
嗯，以上就是共线性问题的全貌。说白了就是：你得先知道敌人长什么样，才能想办法对付它。下一节我们会聊怎么处理共线性——正交化技术就是其中一把利器。