第二章：数据采集与治理——多源异构数据源的“大熔炉”

说实话，做数字孪生风控，最头疼的往往不是算法选型，而是数据本身。

我见过太多团队，模型架构搭得漂漂亮亮，一上线就崩。为什么？数据质量不行。你想想看，一个数字孪生系统，要同时接入IoT设备流、交易日志、外部征信数据……这些数据格式不同、频率不同、语义不同，简直就是个大杂烩。

这一章，我们就聊聊怎么把这锅“杂烩”炖成一道好菜。

2.1 多源异构数据源：三种典型“食材”

我个人习惯把数据源分成三大类。每一类都有它的脾气。

2.1.1 IoT数据流

IoT数据，说白了就是传感器数据。温度、湿度、振动、电流……这些数据的特点是：高频、时序、带噪声。

我在项目中遇到过一家工厂，设备每100毫秒上报一次振动数据。一天下来，单台设备就是86万条记录。你想想看，1000台设备呢？数据量直接爆炸。

这类数据的问题在于：

• 缺失值：传感器偶尔断连，数据就断了
• 异常值：信号干扰，突然跳出一个离谱的数字
• 时间戳乱序：网络延迟导致数据到达顺序错乱

2.1.2 交易日志

交易日志是风控的核心数据源。每一笔交易，从发起、授权、清算到结算，都会留下日志。

这类数据的特点是：结构化、高价值、敏感。

嗯，这里要注意。交易日志的字段往往很多——用户ID、设备指纹、IP地址、交易金额、时间戳……但很多字段是冗余的，甚至有些字段在不同系统里含义不同。

我曾经踩过一个坑：A系统里的“status”字段，0代表成功，1代表失败；B系统里正好反过来。如果不做标准化，模型直接学反了。

2.1.3 外部数据

外部数据包括征信报告、黑名单、工商信息、舆情数据等。这类数据的特点是：非结构化、更新慢、依赖第三方。

举个例子，舆情数据可能是新闻文本，也可能是社交媒体帖子。你需要做NLP解析，提取实体和情感。而且外部数据的接口调用往往有延迟，不能实时获取。

2.2 数据清洗与标准化：把“脏数据”洗干净

数据清洗，说白了就是“去伪存真”。我总结了三个步骤，你可以直接套用。

2.2.1 缺失值处理

IoT数据缺失，我一般用前向填充或插值法。交易日志缺失，如果字段不重要，直接删除；如果字段关键（比如金额），我会用均值填充或模型预测填充。

举个例子：

# 前向填充（适用于IoT时序数据）
df['temperature'].fillna(method='ffill', inplace=True)

# 插值法（适用于连续变化的数据）
df['vibration'].interpolate(method='linear', inplace=True)

2.2.2 异常值检测

异常值检测，我常用的方法有三种：

• 3σ原则：适用于正态分布的数据
• IQR（四分位距）：适用于偏态分布
• 孤立森林：适用于高维数据

我在项目中遇到过一个问题：某台设备的温度传感器，夏天正常值是35-40度，冬天是10-15度。如果用全局的3σ原则，冬天的数据全被当成异常了。所以，一定要分时段、分场景做异常检测。

2.2.3 数据标准化

不同数据源的字段名、单位、格式都不一样。我建议做一张数据映射表：

源字段	目标字段	转换规则
user_id (A系统)	user_id	直接映射
cust_id (B系统)	user_id	前缀+原值
amt (A系统)	amount	单位统一为“分”
timestamp (A系统)	event_time	统一为UTC时间戳

2.3 数据质量监控体系：给数据“上保险”

数据清洗不是一次性的工作。数据质量会随着时间变化——传感器老化、接口变更、人为误操作……所以，必须建立持续监控的机制。

2.3.1 监控什么？

我一般监控四个维度：

• 完整性：缺失率是否超过阈值？
• 准确性：异常值比例是否升高？
• 一致性：不同数据源的同字段是否矛盾？
• 时效性：数据延迟是否在可接受范围内？

2.3.2 怎么监控？

我习惯用滑动窗口的方式。比如，每5分钟统计一次过去1小时的数据质量指标。如果某个指标连续3次超过阈值，就触发告警。

代码示例：

def check_data_quality(df, window_size='1h'):
    # 计算缺失率
    missing_rate = df.isnull().sum() / len(df)
    # 计算异常值比例（基于3σ）
    anomaly_rate = ((df - df.mean()).abs() > 3 * df.std()).sum() / len(df)
    # 检查时效性
    max_latency = (pd.Timestamp.now() - df['event_time']).max()
    
    return {
        'missing_rate': missing_rate,
        'anomaly_rate': anomaly_rate,
        'max_latency': max_latency
    }

2.3.3 告警与修复

告警之后怎么办？我建议分三级：

• P0（严重）：数据完全不可用，立即停服修复
• P1（重要）：部分数据异常，降级处理
• P2（一般）：数据质量下降，记录日志，后续优化

2.4 知识体系总览

下面这张图，是我对本章内容的总结。你可以把它当作一个“数据治理路线图”。

这张图展示了从数据源到最终数据资产的完整链路。每一步都环环相扣，缺一不可。