4. 线性回归与因果:从相关到因果的关键一步

说实话,很多刚接触因果推断的朋友,第一个困惑就是:线性回归不是做预测的吗?跟因果有什么关系?

我当年也有这个疑问。直到我在一个电商项目中,用回归模型去分析「促销活动对销售额的影响」,结果发现回归系数居然是负的——促销越多,销售额反而下降?这显然不合理。后来我才明白,不是回归本身有问题,而是我忽略了混淆变量。

这一章,我们就来把线性回归和因果推断的关系彻底讲清楚。

4.1 线性回归模型:最简单的因果工具

线性回归的数学形式很简单:

Y = β₀ + β₁X + ε

其中:

  • Y 是结果变量(比如销售额)
  • X 是处理变量(比如促销力度)
  • β₁ 就是我们最关心的——X 每变化一个单位,Y 平均变化多少
  • ε 是误差项,包含所有其他影响因素

你可能会问:这不就是一条直线吗?跟因果有什么关系?

嗯,关键就在这里。回归系数 β₁ 要解释为因果效应,需要满足一个核心假设:X 和 ε 不相关。 换句话说,所有影响 Y 的因素中,除了 X 本身,其他因素都不能同时与 X 相关。

核心要点:回归本身只是描述相关性。要得到因果解释,必须依赖假设——尤其是「无混淆变量」假设。

4.2 最小二乘法:怎么找到那条「最佳」直线?

我记得刚学统计时,老师问:「为什么回归线要那样画?」答案是——最小二乘法(OLS)。

它的逻辑很简单:找到一组 β₀ 和 β₁,让所有数据点到直线的垂直距离的平方和最小。

公式长这样:

min Σ (Yᵢ - (β₀ + β₁Xᵢ))²

为什么用平方?而不是绝对值?

我个人的理解是:平方有两个好处——

  • 放大大的误差,让模型更「在意」那些偏离大的点
  • 数学上可导,方便求解析解

解出来的 β₁ 公式是:

β₁ = Cov(X, Y) / Var(X)

说白了,就是 X 和 Y 的协方差,除以 X 自己的方差。这个公式在因果推断中会反复出现,建议你记住它。

小技巧:在实际项目中,我习惯先画散点图,看看数据是不是大致呈线性关系。如果明显是曲线,直接用线性回归会出大问题。

4.3 回归系数的因果解释:什么时候可以?

这是本章最重要的部分。我们来看一个具体例子。

假设你想知道「教育年限对收入的影响」。你收集了数据,跑了一个回归:

收入 = β₀ + β₁ × 教育年限 + ε

得到 β₁ = 5000,意思是:每多上一年学,收入平均多 5000 块。

这个 5000 能解释为因果效应吗?

不能! 至少不能直接这么解释。

为什么?因为存在混淆变量。比如:

  • 家庭背景:富裕家庭的孩子更容易接受更多教育,也更容易找到高薪工作
  • 个人能力:能力强的人既容易考上大学,也容易赚更多钱

这些变量同时影响 X 和 Y,导致 β₁ 估计有偏。我当年在项目中踩过的坑,就是忽略了「促销时段」这个混淆变量——促销往往在节假日做,而节假日本身销售额就高,结果把节假日效应误算成了促销效应。

避坑指南:我曾经犯过一个低级错误——把回归系数直接当因果效应,结果被业务方质疑。后来我养成了一个习惯:每次汇报回归结果时,先问自己三个问题——

  1. 这个 X 和 Y 之间有没有共同的「因」?
  2. 有没有反向因果的可能?(Y 影响 X?)
  3. 样本选择有没有偏差?

这三个问题能帮你避免 80% 的因果谬误。

4.4 混淆变量与回归调整:怎么「控制」住它?

既然有混淆变量,那怎么办?

答案很简单:把混淆变量也放进回归模型里。

比如,我们怀疑「家庭背景」是混淆变量,那就把它加进去:

收入 = β₀ + β₁ × 教育年限 + β₂ × 家庭背景 + ε

这时候,β₁ 的含义就变了:在家庭背景相同的情况下,教育年限每增加一年,收入平均变化多少。

这就是「回归调整」的核心思想——通过控制混淆变量,让处理变量变得「近乎随机」。

用因果图的语言来说:

  家庭背景
   /     \
  ↓       ↓
教育年限 → 收入

当我们把「家庭背景」放入回归模型,就相当于切断了它到「教育年限」和「收入」的路径,从而得到更干净的因果估计。

重要提醒:不是所有变量都适合「控制」。比如「中介变量」(教育年限 → 工作技能 → 收入)就不应该控制,否则会低估总效应。这个我们后面章节会详细讲。

4.5 知识体系总览

下面这张图,帮你把本章的核心逻辑串起来:

线性回归与因果:知识体系 线性回归模型 Y = β₀ + β₁X + ε 最小二乘法 min Σ(Yᵢ - Ŷᵢ)² 回归系数 β₁ 因果解释? 混淆变量问题 同时影响 X 和 Y 导致 β₁ 估计有偏 回归调整 将混淆变量加入模型 控制后得到因果效应 核心:无混淆假设是因果解释的前提

4.6 本章小结

这一章我们讲了四件事:

  1. 线性回归模型:最简单的因果推断工具,但需要假设支撑
  2. 最小二乘法:找到最佳拟合线的数学方法
  3. 回归系数的因果解释:不能直接当因果,要警惕混淆变量
  4. 回归调整:通过控制混淆变量,逼近因果效应

说实话,这章的内容看起来简单,但它是整个因果推断的基石。我见过太多人,包括我自己早期,都是在这里栽跟头——把相关当因果,然后被业务方怼得哑口无言。

下一章,我们会深入讨论一个更棘手的问题:如果混淆变量不可观测,该怎么办? 到时候会介绍工具变量法,那是个很有意思的话题。


公众号:蓝海资料掘金营,微信deep3321