第二章 数据采集与埋点：用户行为日志、设备指纹、IP代理检测、数据仓库设计

做反欺诈，说白了就是跟坏人抢时间。你晚一步发现异常，钱就没了。我做了这么多年，最大的体会就是——数据采集是地基，地基不稳，模型再牛也白搭。今天咱们就聊聊，怎么把这个地基打扎实。

2.1 用户行为日志：记录“人”的每一个动作

用户行为日志，就是记录用户在系统里干了什么。点击、滑动、停留、输入……每一个动作都可能暴露他的真实意图。

我个人习惯把行为日志分成三类：

• 操作类：点击按钮、提交表单、切换页面。这类日志最基础，但最容易造假。我曾经遇到过一个团伙，用脚本模拟点击，频率精确到毫秒级。后来我们加了“鼠标轨迹”字段，才把他们揪出来。
• 状态类：页面加载时间、网络延迟、设备电量。这些信息看似无关，其实能反映用户的环境是否正常。比如，一个用户声称在“家里”操作，但网络延迟却显示他在海外，这就值得怀疑。
• 异常类：频繁报错、重复提交、短时间内大量操作。这类日志是反欺诈的“警报器”。我建议你单独建一个表来存，方便实时监控。

下面是一个简单的日志采集代码示例，我用的是Python + Kafka：

import json
from kafka import KafkaProducer

producer = KafkaProducer(bootstrap_servers='localhost:9092')

def log_user_action(user_id, action, extra_info=None):
    log_entry = {
        "user_id": user_id,
        "action": action,
        "timestamp": int(time.time() * 1000),
        "extra": extra_info or {}
    }
    producer.send('user_behavior_topic', json.dumps(log_entry).encode('utf-8'))

# 使用示例
log_user_action("u12345", "click_submit", {"page": "payment", "amount": 199.99})

2.2 设备指纹：给设备一个“身份证”

设备指纹，就是通过设备的硬件和软件信息，生成一个唯一标识。为什么需要它？因为坏人会换账号，但很难换设备。你想想看，一个设备在一天内注册了100个账号，这正常吗？

我建议采集以下设备信息：

信息类别	具体字段	反欺诈用途
硬件信息	CPU型号、内存大小、硬盘序列号	识别模拟器、虚拟机
软件信息	操作系统版本、浏览器指纹、安装的应用列表	检测设备是否被篡改
网络信息	IP地址、MAC地址、WiFi SSID	关联多个账号
行为特征	屏幕分辨率、语言设置、时区	判断用户是否在伪装

生成设备指纹的算法，我常用的是加权哈希。把每个字段赋予不同的权重，然后计算一个哈希值。这样即使某个字段变了，指纹也不会完全改变。

import hashlib
import json

def generate_device_fingerprint(device_info):
    # 字段权重：硬件信息权重最高
    weighted_info = {
        "cpu": device_info.get("cpu", "") * 3,
        "ram": device_info.get("ram", "") * 2,
        "os": device_info.get("os", "") * 1,
        "screen": device_info.get("screen", "") * 1
    }
    raw_string = json.dumps(weighted_info, sort_keys=True)
    return hashlib.sha256(raw_string.encode()).hexdigest()

2.3 IP代理检测：别让坏人“隐身”

IP代理检测，说白了就是判断用户是不是在用VPN、Tor或者数据中心IP。为什么重要？因为正常用户很少用代理，而坏人几乎必用。

我记得有一次，一个客户说他们的用户全是“高端商务人士”，IP分布在全球各地。我一查，好家伙，80%的IP都来自同一个数据中心。这哪是商务人士，分明是诈骗团伙。

检测IP代理，我一般用三个方法：

1. IP黑名单库：维护一个已知的代理IP列表。这个库需要实时更新，因为代理IP变化很快。我建议你接入第三方服务，比如MaxMind或IP2Location。
2. 网络延迟分析：代理IP通常会有较高的延迟。你可以通过测量用户请求的响应时间，来辅助判断。如果一个用户的IP显示在“北京”，但延迟却像从“美国”发来的，那就有问题。
3. 行为一致性检查：代理IP的用户，行为模式往往很“干净”。比如，他们不会浏览其他页面，直接进入目标页面操作。这种“直奔主题”的行为，就是风险信号。

2.4 数据仓库设计：让数据“好找、好用、好分析”

数据仓库，就是存放所有采集数据的“大本营”。设计得好，分析师和算法工程师都能高效工作。设计得不好，那就是数据沼泽。

我个人习惯采用分层设计：

• ODS层（操作数据存储）：原始数据，不做任何处理。比如，用户行为日志、设备指纹原始信息。这一层的数据量最大，但查询最慢。
• DWD层（明细数据层）：对ODS层的数据进行清洗、去重、标准化。比如，把“用户点击”和“用户提交”合并成一条完整的行为记录。
• DWS层（汇总数据层）：按主题进行聚合。比如，按“用户ID”汇总出“今日登录次数”、“今日交易金额”等特征。
• ADS层（应用数据层）：直接给模型用的特征表。比如，设备指纹的哈希值、IP代理的检测结果。

下面是一个简单的数据仓库表结构设计：

-- ODS层：原始日志表
CREATE TABLE ods_user_behavior (
    log_id BIGINT PRIMARY KEY,
    user_id STRING,
    action STRING,
    timestamp BIGINT,
    extra_info STRING  -- JSON格式
) PARTITIONED BY (dt STRING);

-- DWD层：清洗后的行为表
CREATE TABLE dwd_user_behavior (
    user_id STRING,
    action STRING,
    action_time TIMESTAMP,
    device_fingerprint STRING,
    ip_address STRING
) PARTITIONED BY (dt STRING);

-- DWS层：用户汇总特征表
CREATE TABLE dws_user_daily_features (
    user_id STRING,
    login_count INT,
    transaction_count INT,
    avg_response_time DOUBLE,
    device_count INT
) PARTITIONED BY (dt STRING);

2.5 本章知识体系图

下面这张图，展示了本章的核心逻辑。从数据采集到数据仓库，每一步都有明确的目标和手段。

这张图你看懂了吗？从数据源到最终的特征输入，每一步都环环相扣。你想想看，如果设备指纹采集错了，那后面的IP检测和数据仓库设计，全白搭。所以，每一步都要做对，做扎实。

---

好了，这一章的内容就到这里。数据采集与埋点，看似基础，但里面的坑不少。希望你能把这些方法用到实际项目中，少走弯路。