第2章:潜在结果框架——因果推断的基石
说实话,我刚接触因果推断时,最困惑的就是这个「潜在结果」的概念。明明我们只能观察到一种结果,为什么非要假设另一个世界线?
后来在电商项目中做促销效果评估,我才真正理解——没有这个框架,你根本没法严谨地定义「因果效应」到底是什么。
2.1 潜在结果定义
先看一个简单例子。假设你吃了止痛药,头痛好了。那么问题来了:你怎么知道是药起了作用?
因为你没法同时体验「吃药但头痛没好」的情况。这就是因果推断的核心困境——反事实缺失。
潜在结果框架(也叫Rubin因果模型)用数学语言描述了这个困境:
- 对每个个体i,我们定义两个潜在结果:
- Yᵢ(1):接受处理时的结果
- Yᵢ(0):未接受处理时的结果
- 实际观测到的结果Yᵢ = Tᵢ × Yᵢ(1) + (1-Tᵢ) × Yᵢ(0)
- 其中Tᵢ表示是否接受处理(1=是,0=否)
关键点:每个个体都有两个潜在结果,但我们只能观测到一个。另一个永远缺失,这就是「反事实」。
我在项目中遇到过很多次,业务方问「这个用户如果不发优惠券会怎样?」——这就是在问反事实。没有潜在结果框架,你连问题都定义不清楚。
2.2 个体处理效应
有了潜在结果,个体处理效应(ITE)的定义就很简单了:
ITEᵢ = Yᵢ(1) - Yᵢ(0)
说白了,就是同一个体在「处理」和「对照」两种状态下的结果差异。
但这里有个残酷的现实:你永远无法计算ITE。因为Yᵢ(1)和Yᵢ(0)不可能同时被观测到。
注意:ITE是理论概念,不是可计算的统计量。任何声称「计算了个体处理效应」的方法,本质上都是在做某种假设或近似。
我曾经犯过一个错误——在个性化推荐项目中,试图用模型预测每个用户的ITE。结果发现,没有合理的假设,预测值完全不可靠。嗯,这让我重新理解了「可识别性」的重要性。
2.3 平均处理效应(ATE)
既然个体效应算不出来,那就退一步——算平均。平均处理效应(ATE)定义为:
ATE = E[Y(1) - Y(0)] = E[Y(1)] - E[Y(0)]
ATE衡量的是:如果整个群体都接受处理,与整个群体都不接受处理,结果的平均差异。
你想想看,ATE虽然也是基于反事实,但它只需要估计两个总体均值,比ITE容易得多。
怎么估计ATE?最直接的方法是随机实验:
- 随机分配处理组和对照组
- 处理组的平均结果 ≈ E[Y(1)]
- 对照组的平均结果 ≈ E[Y(0)]
- 两者之差 ≈ ATE
经验之谈:随机实验是估计ATE的黄金标准。但现实中很多场景做不了随机实验(比如政策评估、医疗干预),这时就需要用观察数据配合因果推断方法。
我记得有一次帮某平台评估新算法效果。业务方说「我们直接对比新旧算法的用户转化率不就行了?」我说不行——因为新算法先在小流量上测试,用户群体本身就有偏差。这就是ATE估计中常见的「选择偏差」问题。
2.4 条件平均处理效应(CATE)
ATE是全局平均,但很多时候我们想知道:不同人群的处理效应是否不同?
比如,新药对年轻人有效,对老年人无效。ATE可能被「平均」掉,掩盖了这种异质性。
条件平均处理效应(CATE)就是解决这个问题的:
CATE(x) = E[Y(1) - Y(0) | X = x]
其中X是协变量(如年龄、性别、历史行为等)。CATE衡量的是:在给定特征X=x的子群体中,平均处理效应是多少。
用表格来对比一下:
| 概念 | 定义 | 可估计性 | 典型应用 |
|---|---|---|---|
| ITE | Yᵢ(1) - Yᵢ(0) | 不可直接估计 | 理论基准 |
| ATE | E[Y(1) - Y(0)] | 随机实验可估计 | 整体政策评估 |
| CATE | E[Y(1) - Y(0) | X=x] | 需假设+方法 | 个性化推荐、精准医疗 |
为什么CATE这么重要?因为决策往往需要「个性化」。你想想看:
- 广告系统:给哪些用户发优惠券效果最好?→ CATE
- 医疗:哪种治疗方案对这类患者最有效?→ CATE
- 教育:这个教学方法适合哪些学生?→ CATE
我在做用户增长项目时,就遇到过典型的CATE问题。整体看,发优惠券能提升10%的转化率(ATE=10%)。但细分后发现:高活跃用户发券反而降低转化(CATE为负),低活跃用户发券提升30%(CATE为正)。如果只看ATE,你会做出错误的决策。
核心总结:潜在结果框架提供了因果效应的严格定义。ITE是理想但不可观测的,ATE是群体层面的平均,CATE是条件化的异质性效应。实际应用中,我们通常从ATE入手,逐步深入到CATE。
知识体系图
下面这张图展示了本章的核心逻辑:
个人建议:学习潜在结果框架时,不要纠结于「能不能算出来」。先理解这三个概念的定义和区别,后续章节的方法都是围绕如何估计ATE和CATE展开的。
我曾经带过一个新人,他花了两周时间试图「计算」ITE,最后发现根本不可能。我告诉他:因果推断的核心不是计算,而是假设+识别+估计。先接受反事实的不可观测性,才能理解为什么我们需要随机化、匹配、工具变量等方法。
公众号:蓝海资料掘金营,微信deep3321