3、混淆偏差:什么是混淆变量?辛普森悖论在电商中的体现
3.1 先讲个让我翻车的故事
几年前我接手一个项目,分析「发优惠券是否提升了复购率」。数据一看,发券用户复购率 35%,没发券的只有 20%。我差点直接写结论:「发券有效,建议加大力度」。
还好多问了一句:这些用户是怎么选的?
运营同事告诉我,券是发给「近30天活跃但未下单」的用户。说白了,这批人本身就是高潜力用户。而那些没发券的,很多是已经流失的老客或者新注册的僵尸号。
你看,这里就藏着一个典型的混淆变量——用户活跃度。它同时影响了「是否发券」和「是否复购」。如果不控制它,结论就是错的。
核心定义:混淆变量(Confounder)是指既影响处理变量(Treatment),又影响结果变量(Outcome)的第三方变量。它会扭曲我们对因果关系的判断。
3.2 混淆变量的三个特征
我习惯用一个简单框架来识别混淆变量。你想想看,一个变量要成为混淆变量,必须同时满足三个条件:
- 影响处理变量——它决定了谁被干预、谁没被干预
- 影响结果变量——它本身就能解释结果的变化
- 不在因果路径上——它不是处理变量到结果变量的中间环节
举个例子,分析「广告曝光是否促进购买」:
- 用户历史购买行为 → 既影响广告是否曝光(算法会优先推给高潜用户),又影响是否购买 → 是混淆变量
- 广告素材质量 → 影响曝光效果,但不影响曝光分配 → 不是混淆变量
- 用户点击广告 → 这是曝光到购买的中间环节 → 不是混淆变量,是中介变量
避坑指南:我曾经把中介变量当混淆变量处理,结果把广告的真实效果给「控制掉了」。记住,混淆变量是外生的,中介变量是内生的。
3.3 辛普森悖论:数据会骗人
说到混淆变量,就绕不开辛普森悖论。这个悖论说的是:分组看趋势,和合并看趋势,结论完全相反。
为什么会这样?说白了,就是分组后混淆变量的分布被改变了。
我拿电商场景给你拆解一下。假设我们分析「新推荐算法是否提升了点击率」:
| 用户群体 | 旧算法曝光量 | 旧算法点击率 | 新算法曝光量 | 新算法点击率 |
|---|---|---|---|---|
| 高活跃用户 | 1000 | 10% | 500 | 12% |
| 低活跃用户 | 500 | 2% | 1000 | 3% |
| 合计 | 1500 | 7.3% | 1500 | 6% |
你看,每个群体内部,新算法点击率都更高(10%→12%,2%→3%)。但合并一看,新算法反而低了(7.3%→6%)。
原因很简单:新算法被更多地投放给了低活跃用户(500 vs 1000),而低活跃用户本身点击率就低。这个「用户活跃度」就是混淆变量。
注意:辛普森悖论不是数据错误,而是告诉我们:不加控制地看总体数据,很容易被误导。我见过不少运营同学拿着总体数据就拍脑袋做决策,结果上线后效果惨淡。
3.4 电商中常见的混淆变量
根据我的经验,电商场景里这几个混淆变量最常出现:
- 用户历史价值(LTV):高价值用户更容易被特殊对待,也更容易产生购买
- 活跃度/访问频次:活跃用户看到更多活动,也更容易转化
- 季节/促销节点:双11期间所有指标都会涨,但不是因为你的策略有效
- 渠道来源:搜索来的用户意图强,社交来的用户意图弱,直接比转化率不公平
- 设备/平台:APP用户粘性高,小程序用户流失快,不能混为一谈
3.5 怎么处理混淆变量?
嗯,这里要注意,处理混淆变量没有银弹。我常用的方法有几种:
- 分层分析:按混淆变量分组,每组内比较。简单直观,但变量多了就不好使
- 倾向性评分匹配(PSM):给每个样本算一个「被处理的概率」,然后匹配处理组和对照组。我在做优惠券效果评估时常用
- 逆概率加权(IPW):用倾向性评分的倒数做权重,让样本分布更均衡
- 回归调整:直接把混淆变量作为协变量放进回归模型
我的建议:刚开始做因果推断时,先试试分层分析。虽然粗糙,但能帮你快速建立直觉。等数据量大了、变量多了,再上PSM或IPW。
3.6 知识框架图
下面这张图总结了混淆偏差的核心逻辑,我画出来方便你理解:
3.7 实战中的避坑建议
最后分享几个我踩过的坑:
- 不要只看总体指标——我见过太多人拿个总体转化率就下结论,结果被辛普森悖论坑了
- 先画因果图——动手分析前,先画出变量之间的关系图,能帮你提前发现混淆变量
- 敏感性分析要做——即使控制了已知的混淆变量,也要考虑是否存在未观测到的混淆变量
- 业务理解比模型重要——最好的模型也弥补不了对业务逻辑的误解
一个小技巧:我每次做分析前,都会问自己三个问题:谁被干预了?谁没被干预?为什么?这三个问题基本能帮你定位出主要的混淆变量。
公众号:蓝海资料掘金营,微信deep3321