第三章 基础概率与统计:描述性统计、概率分布、假设检验在风控中的应用
说实话,很多刚入行的同学觉得概率统计是数学课,跟实际风控离得远。我当年也这么想,直到第一次上线评分卡模型,发现拒绝率跟预期差了十几个点……嗯,从那以后我老老实实把统计基础补了一遍。
这一章,咱们就聊聊风控里最常用的三个统计工具:描述性统计、概率分布、假设检验。不扯公式推导,只讲怎么用、什么时候用、坑在哪。
1. 描述性统计:先看看数据长什么样
拿到一批用户数据,第一件事不是建模,而是「看数据」。我个人习惯先跑描述性统计,心里有个底。
1.1 集中趋势
- 均值:比如用户平均年龄28.5岁。但均值容易被极端值带偏——我见过一个数据集,因为混入几个500岁的老妖怪(数据录入错误),均值直接飙到35岁。
- 中位数:更稳健。如果年龄中位数是26,说明一半用户小于26岁。
- 众数:比如职业字段里「销售」出现最多,那风控策略可以针对销售群体做特殊处理。
1.2 离散程度
- 标准差:收入标准差大,说明用户收入差距悬殊。这时候用均值做策略阈值要小心。
- 四分位数:我常用Q1和Q3来识别异常值。比如收入低于Q1-1.5*IQR的,基本可以标记为可疑数据。
避坑指南:我曾经遇到一个项目,直接用均值填充缺失值,结果模型效果一塌糊涂。后来发现收入字段是右偏分布,均值根本不能代表「典型用户」。正确的做法是先看分布形状,再决定填充策略。
2. 概率分布:风控模型的数学基石
概率分布这东西,说白了就是描述「某件事发生的可能性有多大」。在风控里,我们最常打交道的是这几种:
2.1 二项分布
适用场景:判断「一批用户中逾期人数」的概率。比如你放了1000笔贷款,历史逾期率5%,那么逾期人数服从二项分布。我经常用它来估算坏账准备的金额。
2.2 正态分布
信用评分卡里,分数通常被设计成正态分布。为什么?因为正态分布性质好,容易做阈值切割。比如设定分数低于均值-2个标准差的用户直接拒绝。
小技巧:实际业务中,很多变量并不服从正态分布(比如收入、负债比)。这时候别硬套,试试对数变换或Box-Cox变换。我习惯先画个直方图看看,一目了然。
2.3 泊松分布
适合建模「单位时间内事件发生的次数」。比如某渠道一天内进件的欺诈申请数量。我曾在现金贷项目里用泊松分布监控异常进件量——如果某天进件量突然超过均值+3倍标准差,自动触发人工审核。
3. 假设检验:用数据说话
假设检验的核心思想很简单:你提出一个假设,然后看数据支不支持它。在风控里,我主要用它来做两件事:
3.1 A/B测试中的显著性检验
比如你想测试新策略是否真的降低了逾期率。你会设:
- 原假设H0:新策略和旧策略逾期率一样
- 备择假设H1:新策略逾期率更低
然后算p值。如果p<0.05,就拒绝H0,认为新策略有效。注意,p值不是「新策略有效的概率」,而是「如果新旧策略一样,观察到当前差异的概率」。这个坑我踩过,当时差点把无效策略推上线。
3.2 变量筛选中的卡方检验
判断某个特征(比如性别)是否与逾期显著相关。卡方检验的p值越小,说明该特征越值得入模。我一般会设p<0.1作为筛选门槛,太严格会把好变量漏掉。
注意:假设检验不能证明因果关系。即使p值很小,也只能说「有关联」,不一定是「因为A所以B」。比如我们发现「凌晨3点申请」的用户逾期率高,但这可能是因为这类用户本身资质差,而不是熬夜导致逾期。
4. 知识体系框架
下面这张图是我自己整理的,把本章三个核心模块串起来了。你想想看,描述性统计是「看数据」,概率分布是「猜规律」,假设检验是「验证猜想」——三者缺一不可。
5. 实战案例:用假设检验评估策略效果
讲个真实案例。之前有个信贷产品,想测试「增加联系人验证」能否降低首期逾期率。我们做了A/B测试:
| 组别 | 样本量 | 首期逾期率 |
|---|---|---|
| 对照组(无验证) | 5000 | 3.2% |
| 实验组(有验证) | 5000 | 2.8% |
看起来实验组低了0.4个百分点。但这是随机波动还是真实效果?我们用双比例z检验算一下:
import numpy as np
from statsmodels.stats.proportion import proportions_ztest
# 对照组:逾期160人,实验组:逾期140人
count = np.array([160, 140])
nobs = np.array([5000, 5000])
stat, p_value = proportions_ztest(count, nobs)
print(f'z统计量: {stat:.3f}, p值: {p_value:.4f}')
# 输出:z统计量: 1.234, p值: 0.2173
p值0.217 > 0.05,说明差异不显著。换句话说,这0.4%的差距很可能是抽样误差导致的。我当时差点就凭直觉上线了,还好用假设检验拦了一把。
核心要点:描述性统计帮你「看清现状」,概率分布帮你「理解规律」,假设检验帮你「科学决策」。三者配合,才能做出靠谱的风控策略。
嗯,这一章就到这里。记住,统计不是纸上谈兵,每个公式背后都是真金白银的决策。多动手算一算,比光看书强得多。