第1章:概率论与统计基础
各位同学好,我是你们这门课的老师。今天咱们聊聊因果推断的数学地基——概率论与统计基础。
说实话,我刚开始接触因果推断时,觉得这东西玄乎得很。后来才发现,说白了就是概率论那点事儿。你想想看,因果推断要回答「如果当初没这么做,结果会怎样」,这不就是在问条件概率吗?
1.1 条件概率:因果推断的起点
条件概率,我习惯用一句话记:「在已知B发生的情况下,A发生的概率」。公式长这样:
P(A|B) = P(A∩B) / P(B)
嗯,这里要注意:分母P(B)不能为0。我在项目中遇到过有人拿这个公式算着算着,发现分母是0,结果整个分析全废了。所以拿到数据先检查一下条件事件是否真的发生过。
举个实际例子。假设我们研究「吃药是否导致康复」。数据如下:
| 康复 | 未康复 | |
|---|---|---|
| 吃药 | 80 | 20 |
| 未吃药 | 30 | 70 |
那么「吃药条件下康复的概率」P(康复|吃药) = 80/(80+20) = 0.8。而「不吃药条件下康复的概率」P(康复|未吃药) = 30/(30+70) = 0.3。你看,差了0.5,这药似乎有效?
但别急,因果推断没这么简单。这里可能混杂了年龄、病情严重程度等因素。条件概率只是第一步,后面我们会用更高级的工具来剥离混杂。
核心要点:条件概率是因果推断的语言。你问「如果吃药会怎样」,本质上就是在问P(康复|吃药)和P(康复|未吃药)的对比。
1.2 贝叶斯定理:从结果反推原因
贝叶斯定理,我个人觉得是概率论里最优雅的公式。它告诉我们如何根据观测到的结果,更新对原因的信念。
P(A|B) = P(B|A) * P(A) / P(B)
公式很简单,但内涵很深。我来拆解一下:
- P(A):先验概率——你事先对A的相信程度
- P(B|A):似然——如果A是真的,B出现的可能性有多大
- P(A|B):后验概率——看到B后,你对A的更新信念
我曾经在一个医疗诊断项目中用过这个。医生告诉我某个检测的假阳性率是5%,假阴性率是1%。患者检测阳性,问实际患病的概率是多少?
很多人脱口而出「95%」。错!因为没考虑先验概率。假设该病在人群中的发病率只有1%,那么:
P(患病|阳性) = (0.99 * 0.01) / (0.99*0.01 + 0.05*0.99) ≈ 0.167
只有16.7%!你看,不考虑先验,很容易被数据骗了。因果推断里也一样,我们经常需要根据观测数据,反推某个干预是否真的导致了结果变化。贝叶斯思维是避坑的利器。
我的习惯:每次做因果分析前,先写下先验信念。哪怕只是「我觉得这个变量可能有影响」,也比完全空白强。贝叶斯定理会帮你用数据修正这个信念。
1.3 期望与方差:数据的「中心」和「离散」
期望,说白了就是加权平均。方差,就是数据有多散。这两个概念在因果推断里无处不在。
E[X] = Σ x * P(x)
Var(X) = E[(X - E[X])²]
举个例子。假设我们有两个治疗方案:
- 方案A:治愈率80%,但有20%概率产生严重副作用
- 方案B:治愈率60%,副作用概率5%
期望治愈率:A是0.8,B是0.6。但方差呢?A的方差更大,意味着结果更不稳定。在因果推断中,我们不仅要看平均因果效应(ATE),还要看异质性——不同人群的效应方差有多大。
我记得有一次分析电商促销的效果。平均来看,促销提升了10%的销售额。但一算方差,发现有些用户群提升了50%,有些反而下降了20%。这就是方差告诉我们的信息——平均效应会掩盖很多真相。
避坑指南:我曾经只汇报平均因果效应,被业务方追着问「为什么有些人效果不好」。从那以后,我每次都会报告效应量的分布,至少给出方差和分位数。
1.4 协方差与相关系数:变量间的「默契」
协方差衡量两个变量一起变化的趋势。相关系数则是标准化后的协方差,范围在[-1, 1]之间。
Cov(X,Y) = E[(X - E[X])(Y - E[Y])]
Corr(X,Y) = Cov(X,Y) / (σ_X * σ_Y)
这两个指标在因果推断里是基础中的基础。为什么?因为因果关系的第一个线索,往往就是相关性。
但注意:相关不等于因果。我见过太多人看到相关系数0.8就兴奋地说「A导致B」。别急,可能有个隐藏的C同时影响了A和B。比如冰淇淋销量和溺水人数高度相关,但你不能说吃冰淇淋导致溺水——其实是夏天这个混杂因素在作怪。
在因果发现中,我们经常用偏相关系数——控制住其他变量后,看两个变量是否还有相关性。这已经有点因果推断的味道了。
实用技巧:当你拿到一个新数据集,我建议先算相关系数矩阵。用热力图可视化,一眼就能看出哪些变量可能有关联。但记住,这只是线索,不是证据。
1.5 本章知识体系
下面我用一张图来总结本章的核心逻辑。你看,这些概念不是孤立的,它们层层递进,最终服务于因果推断。
你看这张图,从左到右、从上到下,是一个层层递进的关系。条件概率是基础,贝叶斯定理帮我们更新信念,期望和方差描述数据特征,协方差和相关系数揭示变量关系——最终,这些工具一起支撑起因果推断的大厦。
学习建议:别急着跳进因果推断的深水区。先把这些基础概念吃透。我当年就是太心急,结果在「混杂因子」上栽了跟头。基础不牢,地动山摇。
好了,第一章就到这里。这些概念看起来简单,但用好了威力无穷。下一章我们会聊「图模型基础」,到时候你会发现,这些概率知识全都能派上用场。
公众号:蓝海资料掘金营,微信deep3321