1. 反欺诈概述:业务场景、欺诈类型、传统规则与ML对比、课程目标
大家好,我是你们这门课的主讲。在正式开始之前,我想先聊聊我为什么做反欺诈。
说实话,刚入行那会儿,我觉得反欺诈就是个「抓坏人」的游戏。后来踩的坑多了,才明白这其实是场永无止境的猫鼠博弈。你刚堵上一个漏洞,对手立马找到三个新的。嗯,这就是我们这行的常态。
1.1 业务场景:钱在哪儿,欺诈就在哪儿
欺诈不是凭空产生的。它永远追着钱跑。我个人习惯把场景分成三大类:
- 交易支付场景:信用卡盗刷、电商退款欺诈、虚假交易。我在项目中遇到过最离谱的,是有人用几千个虚拟账号薅羊毛,一天撸走几十万。
- 信贷风控场景:身份冒用、团伙骗贷、多头借贷。说白了,就是有人想借钱不还,或者压根不是本人。
- 账户安全场景:撞库、盗号、垃圾注册。你想想看,一个正常用户谁会半夜三点注册一百个账号?
每个场景的欺诈特征都不一样。做模型的时候,千万别想着一个模型打天下。我吃过这个亏。
1.2 欺诈类型:知己知彼
欺诈类型其实就两种:
| 类型 | 特点 | 典型例子 |
|---|---|---|
| 个体欺诈 | 单点作案,行为异常明显 | 盗刷、盗号、虚假交易 |
| 团伙欺诈 | 多人协作,行为伪装性强 | 刷单团伙、骗贷团伙、薅羊毛组织 |
个体欺诈相对好抓。特征明显,规则就能搞定。但团伙欺诈就难了。他们懂得分散风险,懂得模拟正常用户行为。我曾经跟过一个刷单团伙,他们甚至会用真实手机卡、真实地址、真实收货人。要不是设备指纹暴露了他们,我们可能永远发现不了。
核心观点:反欺诈的本质不是「抓坏人」,而是「识别异常」。欺诈行为再伪装,也逃不过统计规律。
1.3 传统规则 vs 机器学习
很多公司一开始都用规则。为什么?因为简单、直观、可解释。
举个例子:
# 传统规则示例
if 交易金额 > 10000 and 交易时间 in [0:00, 5:00]:
return "高风险"
if 登录IP != 常用IP and 设备指纹 == 新设备:
return "高风险"
规则的好处是:上线快,业务看得懂。但问题也很明显:
- 维护成本高:欺诈手段一变,规则就得改。我见过一个团队维护了3000多条规则,每次上线都像拆弹。
- 覆盖率低:规则只能抓到已知的欺诈模式。新手法出来,规则就是摆设。
- 误杀率高:规则太死板。正常用户半夜买个东西,就被误判了。
那机器学习呢?
说白了,ML就是让模型自己学「什么是欺诈」。你给它喂数据,它自己找规律。好处是:
- 自适应:欺诈模式变了,模型能跟着调整。
- 高覆盖率:能发现人类想不到的关联特征。
- 低误杀:模型能给出概率,而不是一刀切。
但ML也有坑。我刚开始做的时候,以为模型越复杂越好。结果上线后,AUC很高,但实际效果一塌糊涂。为什么?因为过拟合了。模型记住了训练数据里的噪声,而不是真正的欺诈模式。
我的建议:规则和ML不是二选一。我现在的做法是:规则做第一道防线,ML做第二道。规则拦截掉明显异常的,ML处理那些模糊的、复杂的。两者互补,效果最好。
1.4 课程目标:你能带走什么
这门课不是讲理论。我希望能让你:
- 掌握反欺诈的完整流程:从数据采集、特征工程、模型训练到上线部署。每一步我都会讲实战中的坑。
- 学会处理不平衡数据:欺诈样本通常只有千分之一甚至万分之一。怎么让模型在这种数据下还能学得好?我会讲采样、代价敏感学习、异常检测等方法。
- 理解模型可解释性:业务方不会只看AUC。他们想知道「为什么这个交易被拦截了」。我会讲SHAP、LIME这些工具怎么用。
- 建立反欺诈思维:不只是会调参。更重要的是,能判断哪些特征有用,哪些是噪声,怎么应对欺诈者的对抗攻击。
避坑指南:我曾经犯过一个错误——把模型做得太复杂,结果线上延迟太高,交易都处理完了模型还没出结果。记住,反欺诈模型不仅要准,还要快。实时场景下,延迟超过100ms就是失败。
1.5 知识体系总览
下面这张图,是我自己总结的反欺诈模型开发全流程。你可以把它当作这门课的地图。
这张图我反复改过很多版。每次做新项目,我都会先对着它走一遍流程。你会发现,很多问题其实出在「业务理解」和「数据准备」这两个阶段。模型调参反而是最不花时间的。
好了,第一章就到这里。记住一句话:反欺诈不是技术问题,而是认知问题。你理解欺诈者有多深,你的模型就有多强。