第二章：数据源探索——金融数据的“源头活水”
做金融网络图，第一步不是写代码，而是搞清楚数据从哪来。
我见过不少团队，一上来就急着建图，结果数据质量一塌糊涂，图建好了也是废的。说白了，数据源探索就像盖楼打地基，地基不稳，楼再高也得塌。
这一章，我们就聊聊常见的金融数据源、怎么采集，以及合规性那些绕不开的坑。
2.1 三大核心数据源
金融网络图的数据源，我习惯分成三类：交易流水、企业工商信息、社交关系。这三类数据，基本覆盖了90%以上的金融风控场景。
2.1.1 交易流水
交易流水是金融网络的“血液”。每一笔转账、消费、取现，都是节点之间的边。
常见的交易流水字段包括：
| 字段名 | 说明 | 示例 |
|---|---|---|
| 交易ID | 唯一标识 | TXN202403150001 |
| 发起方账号 | 资金流出方 | 622202****1234 |
| 接收方账号 | 资金流入方 | 622203****5678 |
| 交易金额 | 单位：元 | 5000.00 |
| 交易时间 | 精确到秒 | 2024-03-15 14:23:10 |
| 交易类型 | 转账/消费/还款等 | 转账 |
| 交易渠道 | 网银/手机银行/ATM | 手机银行 |
2.1.2 企业工商信息
企业工商信息是构建“法人-企业”关系网络的关键。它告诉我们谁开了公司、谁当了股东、谁在控制谁。
核心字段包括：
- 企业基本信息：企业名称、统一社会信用代码、注册地址、注册资本
- 股东信息：股东名称、持股比例、出资额
- 高管信息：法定代表人、董事、监事、经理
- 变更记录：股权变更、法人变更、地址变更
我在项目中遇到过一个问题：同一个自然人，在不同企业里名字写法不一样。比如“张三”和“张 三”（中间多了个空格），或者“张先生”。这种数据不标准化，图就建不起来。
2.1.3 社交关系
社交关系数据，说白了就是“谁认识谁”。在金融场景里，社交关系可以用来做团伙欺诈识别。
常见的社交数据源：
- 通讯录：借款时授权的手机通讯录
- 通话记录：通话频率、时长、时段
- 设备指纹：同一设备登录过哪些账号
- IP地址：同一IP下有哪些用户
- 地理位置：常去地点、轨迹重合度
你想想看，如果10个人都用同一台设备申请贷款，而且通讯录里互相都有对方，这大概率是个欺诈团伙。社交关系图就是用来抓这种模式的。
2.2 数据采集策略
数据采集不是简单的“把数据拿过来”，而是要考虑怎么拿、拿多少、拿多快。
2.2.1 采集方式
我常用的采集方式有三种：
- API接口：实时或准实时拉取，适合交易流水这种高频数据
- 数据库直连：通过JDBC/ODBC直接查询，适合企业工商这种低频数据
- 文件导入：CSV、Excel、Parquet等格式，适合历史数据批量处理
核心原则：能增量就别全量，能异步就别同步。金融数据量大，全量采集容易把源系统拖垮。
2.2.2 采集频率
不同数据源的采集频率不一样：
| 数据源 | 推荐频率 | 说明 |
|---|---|---|
| 交易流水 | 实时/每小时 | 风控需要实时响应 |
| 企业工商 | 每天/每周 | 变更频率较低 |
| 社交关系 | 每天 | 通讯录变化不大 |
| 设备指纹 | 实时 | 用于反欺诈 |
2.3 合规性——绕不开的坎
做金融数据，合规是第一位的。我见过有公司因为数据采集不合规，被罚了几百万，得不偿失。
2.3.1 数据隐私法规
国内主要遵循《个人信息保护法》（PIPL）和《数据安全法》。核心要求：
- 告知同意：采集用户数据前，必须明确告知用途，并获得同意
- 最小必要：只采集业务必需的数据，不要贪多
- 数据脱敏：身份证号、手机号等敏感信息必须脱敏处理
- 存储期限：数据不能无限期保存，到期必须删除
2.3.2 数据分级管理
金融数据一般分为三级：
| 级别 | 示例 | 处理要求 |
|---|---|---|
| L1 公开 | 企业名称、注册地址 | 无需脱敏 |
| L2 内部 | 交易金额、交易时间 | 脱敏后使用 |
| L3 敏感 | 身份证号、手机号 | 加密存储，严格权限控制 |
嗯，这里要注意：L3级别的数据，在图数据库中也要加密存储。我习惯用哈希处理，比如把手机号转成MD5，这样既能关联节点，又不会泄露明文。
2.4 知识体系总览
下面这张图，是我自己总结的数据源探索知识体系。你可以把它当成一个检查清单，做项目时对照着看，不容易漏掉关键环节。
这张图把数据源探索的核心流程串起来了。从左到右，先搞清楚数据源有哪些，再制定采集策略，最后别忘了合规检查。每一步都走扎实了，后面的图构建才能顺风顺水。
公众号:蓝海数据掘金营，微信deep3321