4. 数据采集与预处理：多源数据接入

各位同学，今天咱们聊一个非常实在的话题——数据采集与预处理。说实话，我在反欺诈这行干了快十年，见过太多团队在模型上花了大把精力，结果数据源头就出了问题。嗯，这就像盖楼，地基没打好，上面再漂亮也没用。

欺诈团伙的识别，说白了就是跟一群聪明人斗智斗勇。他们不会傻到只用一种方式作案。所以，我们的数据来源也必须多元化。我个人习惯把数据源分成三大类：交易数据、社交数据、设备数据。这三类数据各有各的脾气，咱们一个一个说。

4.1 多源数据接入

4.1.1 交易数据接入

交易数据是最直接的。每一笔转账、每一次支付，都是欺诈行为的直接痕迹。我建议你重点关注这几个字段：

• 交易时间：凌晨3点的交易，你想想看，正常人有几个会在这个点大额转账？
• 交易金额：整数金额、频繁的小额试探、突然的大额转出——这些都是危险信号。
• 交易对手：新注册的账户、黑名单账户、频繁更换的对手方。
• 交易渠道：网页端、APP端、还是线下POS机？不同渠道的风险系数完全不同。

我在项目中遇到过一件事：有个团伙专门在凌晨2点到4点之间，用一批新注册的账户，向同一个账户转账，每笔金额都是9999元。为什么是9999？因为很多银行的风控阈值是1万。你看，他们比我们更懂规则。

4.1.2 社交数据接入

社交数据，说白了就是「谁和谁是一伙的」。欺诈团伙不是一个人在战斗，他们通常有组织、有分工。社交数据能帮我们画出他们的关系网。

常见的社交数据来源包括：

• 通讯录：用户授权后，可以获取其通讯录中的联系人。如果多个用户的通讯录高度重合，那他们很可能是一伙的。
• 群组关系：同一个微信群、QQ群里的成员，尤其是那些专门讨论「薅羊毛」、「套现」的群。
• 转账备注：有些团伙会在转账备注里写暗号，比如「货已发」、「明天见」之类的。

我记得有一次，我们通过分析转账备注中的「明天老地方见」，顺藤摸瓜找到了一个线下赌博团伙。你看，社交数据有时候比交易数据还管用。

4.1.3 设备数据接入

设备数据，这是反欺诈的「杀手锏」。为什么？因为交易数据可以伪造，社交数据可以隐藏，但设备指纹很难完全伪装。

设备数据主要包括：

数据类别	具体字段	反欺诈价值
硬件信息	IMEI、MAC地址、CPU型号	识别设备是否被篡改
系统信息	操作系统版本、语言设置、时区	判断是否使用模拟器
网络信息	IP地址、WiFi名称、基站信息	定位物理位置
行为信息	屏幕点击轨迹、传感器数据	识别自动化脚本

我曾经遇到过一个团伙，他们用同一台电脑，通过模拟器开了100多个虚拟手机号来注册账户。交易数据看起来完全正常，但设备数据一查——所有账户的CPU型号、屏幕分辨率完全一样。嗯，这就露馅了。

4.2 数据清洗

数据接入之后，下一步就是清洗。说实话，这一步最枯燥，但也最重要。我见过太多团队，数据没洗干净就扔进模型，结果模型跑出来的结果全是垃圾。

数据清洗的核心任务有三个：

1. 去重：同一个用户，可能在不同时间、不同渠道留下了多条记录。怎么合并？我建议用设备指纹+身份证号作为唯一标识。
2. 去噪：有些数据明显是错的，比如交易金额为负数、时间戳是未来时间。这些直接扔掉，不要犹豫。
3. 补全：缺失值怎么处理？我个人习惯，如果是关键字段（如交易金额）缺失，直接丢弃这条记录；如果是非关键字段（如用户昵称），可以用「未知」填充。

举个例子，我之前处理过一个数据集，里面有10%的交易记录没有设备指纹。一开始我想用均值填充，后来发现——这些缺失设备指纹的交易，恰恰是欺诈交易的高发区。为什么？因为团伙故意删除了设备信息。所以，缺失本身也是一种特征。

4.3 实体对齐

实体对齐，说白了就是把不同来源的数据，对应到同一个「人」身上。比如，交易数据里的「张三」、社交数据里的「zhangsan123」、设备数据里的「IMEI: 123456789」，怎么确定他们是同一个人？

实体对齐的常用方法：

• 精确匹配：身份证号、手机号、邮箱——这些唯一标识符可以直接匹配。
• 模糊匹配：姓名+生日、设备指纹+IP地址——这些组合可以大概率确定身份。
• 图匹配：通过社交关系网络，如果A和B有强关联，B和C有强关联，那A和C很可能也是同一个人。

我建议你画一张实体对齐的流程图，这样更直观：

你看，这张图把整个流程串起来了。交易、社交、设备三路数据，经过对齐引擎，最终合并成一个统一的用户画像。有了这个画像，你才能判断：这个用户到底是不是欺诈团伙的一员。

好了，这一章的内容就到这里。数据采集与预处理，听起来简单，做起来全是坑。但只要你把交易、社交、设备这三类数据吃透了，清洗干净了，实体对齐做好了，后面的建模工作就会轻松很多。

记住一句话：好的数据，胜过好的模型。

---