2、数据源与采集：内部交易数据、外部公开数据、数据采集策略与合规性

做金融关系网络，第一步不是写代码，而是搞清楚数据从哪来。

我见过不少团队，模型还没搭，先卡在数据采集上。要么拿不到，要么拿到了不敢用。说白了，数据源的质量直接决定了你后面所有工作的天花板。

2.1 内部交易数据：你的核心资产

内部数据，就是你自己系统里沉淀下来的交易记录。这是最值钱的，因为真实、及时、颗粒度细。

主要包含哪些？

• 交易流水：转账、汇款、消费、理财申购赎回。每一笔都带着时间戳、金额、对手方账号。
• 账户信息：开户行、账户类型、开户时间、账户状态（正常/冻结/销户）。
• 客户信息：姓名、身份证号、手机号、地址、职业。注意，这些涉及隐私，后面合规部分会重点讲。
• 行为日志：登录、修改密码、绑定设备。这些看似无关，但能帮你识别异常操作。

2.2 外部公开数据：补齐拼图的关键

光有内部数据，你只能看到自己体系内的关系。想看清全貌，必须引入外部数据。

工商数据

• 企业基本信息：注册资本、注册地址、经营范围、法定代表人。
• 股东信息：谁投了谁，持股比例多少。这是构建「股权关系网络」的核心。
• 高管信息：董事、监事、高管名单。很多人同时在不同公司任职，这就是「人员关联」。
• 变更记录：法人变更、地址变更、股权变更。频繁变更往往是风险信号。

司法数据

• 诉讼记录：原告、被告、案由、标的金额。
• 失信被执行人（老赖）名单：这个很关键，一旦出现，基本可以判定为高风险节点。
• 行政处罚：税务处罚、市场监管处罚。能反映企业的经营合规性。

舆情数据

• 新闻资讯：正面报道、负面曝光。
• 社交媒体：微博、论坛、贴吧里的讨论。注意，这里噪音很大，需要做情感分析。
• 监管公告：银保监会、证监会发布的处罚决定、风险提示。

2.3 数据采集策略：怎么拿？拿多少？

数据采集不是一股脑全拉回来。你得有策略。

采集方式

• API接口：最规范的方式。工商、司法数据都有官方或第三方API。注意限流和认证。
• 爬虫：适合舆情数据。但要注意，爬虫有法律风险，尤其是爬取需要登录或反爬措施严格的网站。
• 文件导入：内部数据常用。CSV、Excel、数据库导出。注意编码和字段映射。
• 消息队列：实时数据流，比如交易流水。用Kafka或RabbitMQ接入。

采集频率

2.4 合规性：红线不能碰

数据采集最大的坑，不是技术，是合规。

几个必须遵守的原则

• 最小必要原则：只采集业务必需的数据。比如做关系网络，你不需要客户的详细住址，只需要关联关系。
• 用户授权：内部数据必须获得用户同意。外部公开数据虽然不需要授权，但也不能滥用。
• 数据脱敏：身份证号、手机号、银行卡号必须脱敏。我一般用哈希或掩码处理。
• 存储安全：加密存储，访问控制。谁看了数据、什么时候看的、看了什么，都要有日志。

合规检查清单

1. 数据来源是否合法？有没有授权？
2. 采集行为是否违反网站协议？
3. 数据存储是否加密？
4. 是否有数据泄露应急预案？
5. 是否定期进行合规审计？

2.5 知识体系总览

下面这张图，帮你把本章的核心逻辑串起来。数据源、采集策略、合规要求，三者缺一不可。

嗯，这张图基本把本章的脉络讲清楚了。内部数据和外部数据是输入，采集策略是手段，合规是底线。三者配合好了，你才能拿到干净、可用、合法的数据。

公众号:蓝海数据掘金营，微信deep3321