潜在结果框架:从反事实到因果效应
说实话,刚接触因果推断那会儿,我最头疼的就是这个「潜在结果框架」。明明叫「潜在结果」,可它压根不是我们能直接观测到的东西。这玩意儿到底有什么用?
后来我在一个电商推荐系统项目里,才真正体会到它的价值。当时老板问我:「给用户推这个商品,到底能多卖多少?」我盯着历史数据,发现推了商品的用户确实买得多——但问题是,这些用户本来就爱买东西啊!
嗯,这就是因果推断要解决的核心问题:我们永远看不到同一个个体在「接受处理」和「不接受处理」两种状态下的结果。潜在结果框架,就是用来严谨地描述这个困境,并给出解决方案的。
1. 个体处理效应(ITE)
先看最微观的层面。对于个体 \( i \),我们定义两个潜在结果:
- \( Y_i(1) \):接受处理后的结果
- \( Y_i(0) \):不接受处理(控制)下的结果
那么个体处理效应(ITE)就是:
ITE_i = Y_i(1) - Y_i(0)
听起来很简单对吧?但问题来了——我们只能观测到其中一个。如果这个人接受了处理,我们看到的是 \( Y_i(1) \),那 \( Y_i(0) \) 就成了「反事实」。
核心困境:每个个体只有一个观测结果,另一个永远缺失。这就是因果推断的「基本问题」。
我在项目中遇到过这样的场景:分析某个营销活动对用户购买金额的影响。对于参与了活动的用户,我能看到他们花了多少钱;但「如果他们没参与活动会花多少」——这个数据永远不存在。你只能靠模型去猜。
2. 平均处理效应(ATE)
既然个体效应没法直接算,那咱们换个思路:看群体平均。
平均处理效应(ATE)定义为:
ATE = E[Y(1) - Y(0)]
说白了,就是整个群体中,处理组和控制组的平均结果之差。这个值是可以估计的——只要我们能找到合适的对照组。
但这里有个大坑:直接比较处理组和控制组的均值,不等于ATE。为什么?因为处理组和控制组本身就可能不一样。比如参加培训的人本身就更上进,那他们收入高,到底是培训的功劳,还是人本身的差异?
我曾经踩过的坑:刚做因果分析时,我直接拿处理组均值减去控制组均值,就说是ATE。结果被业务方怼了:「你这不就是相关性吗?」没错,没有随机化或合适的调整,这个差值只是条件期望之差,不是因果效应。
要得到真正的ATE,需要满足几个关键假设:
- 一致性:每个个体的潜在结果只取决于它自己的处理状态,不受他人影响
- 可忽略性:给定协变量,处理分配与潜在结果独立
- 正值性:每个个体都有非零的概率接受处理或控制
3. 条件平均处理效应(CATE)
ATE告诉我们整体效果,但很多时候我们想知道:对于特定人群,效果是不是不一样?
这就是条件平均处理效应(CATE)登场的时候:
CATE(x) = E[Y(1) - Y(0) | X = x]
其中 \( X \) 是协变量,比如年龄、性别、历史行为等。CATE回答的是:「对于特征为 \( x \) 的这群人,处理效果平均是多少?」
举个例子。我在做个性化推荐时,发现整体ATE是正的,但拆开看:
| 用户群体 | CATE(推荐带来的购买提升) |
|---|---|
| 高活跃用户 | +15% |
| 中等活跃用户 | +8% |
| 低活跃用户 | -3% |
你看,整体ATE可能是正的,但低活跃用户反而被推荐「劝退」了。这就是CATE的价值——找到谁受益、谁受损。
我的建议:做因果分析时,别只看ATE。先问自己:「这个效果对所有人都一样吗?」如果答案是否定的,那就该上CATE了。我个人习惯用因果森林或元学习器来估计CATE,效果还不错。
4. 反事实推理基础
反事实推理,说白了就是问:「如果当初没这么做,结果会怎样?」
在潜在结果框架下,反事实就是那个我们没观测到的潜在结果。比如:
- 对于接受了处理的个体,\( Y_i(0) \) 是反事实
- 对于没接受处理的个体,\( Y_i(1) \) 是反事实
你想想看,如果我们能准确预测反事实,那ITE不就出来了吗?所以很多因果推断方法,本质上都是在做反事实预测。
常见的反事实推理方法包括:
- 匹配法:为每个处理个体找一个「长得像」的控制个体,用后者的结果作为反事实
- 倾向得分加权:用倾向得分给样本加权,模拟随机化
- 双重差分:利用时间维度,比较处理前后两组的变化差异
- 工具变量:找一个只影响处理、不影响结果的变量来「拆解」因果
关键点:反事实推理不是凭空猜测,而是基于「可忽略性」假设——给定足够多的协变量,处理分配就像随机的一样。这个假设强不强?确实强。但它是我们做因果推断的基石。
我记得有一次做政策评估,数据里混杂了太多因素。我用了倾向得分匹配,结果发现匹配后的两组在协变量上平衡了很多。那一刻我才真正理解:反事实推理,就是努力让「本不该可比」的个体变得「可比」。
5. 知识体系总览
下面这张图,是我自己梳理的潜在结果框架核心逻辑。你看一遍,应该能对整体脉络有个把握。
这张图把整个框架串起来了:从ITE到ATE再到CATE,核心都是反事实推理。而要做好反事实推理,三个假设缺一不可。
一个小技巧:我每次做因果分析前,都会先画一张类似的图,把「处理是什么」「结果是什么」「协变量有哪些」「反事实怎么构造」写清楚。这能帮你避免很多逻辑漏洞。
好了,这一章的内容就到这里。潜在结果框架是因果推断的基石,理解了ITE、ATE、CATE和反事实推理,后面的方法学起来会顺畅很多。
公众号:蓝海资料掘金营,微信deep3321