第1章:数据源盘点——冷启动的“米”从哪来?

做评分卡模型,圈里人都知道一句话:“巧妇难为无米之炊”。

这个“米”,就是数据。冷启动阶段,没有历史表现数据,没有成熟的样本标签,你手头能依赖的,就是这些零零散散的数据源。我见过太多团队,一上来就调参数、选算法,结果数据质量一塌糊涂,模型上线就崩。说白了,数据源盘点,是冷启动最苦最累、但也最值钱的活儿。

核心观点:冷启动阶段,数据源的质量直接决定了评分卡的天花板。宁可花70%的时间在数据盘点上,也别急着建模。

1.1 内部数据:你的“自留地”

内部数据,就是你自己系统里攒下来的东西。冷启动时,这部分数据最可控,也最容易被忽视。

1.1.1 申请信息

用户填表时留下的。姓名、身份证、手机号、住址、工作单位、收入……这些是评分卡最基础的变量。我个人习惯,拿到申请信息后,先做三件事:

  • 完整性检查:必填字段缺失率超过30%?那这个字段基本废了。
  • 逻辑校验:年龄和收入是否匹配?比如填了18岁,年收入100万,你信吗?
  • 重复率分析:同一个手机号出现多次?嗯,可能是中介包装的单子。

我的经验:有一次做项目,发现申请信息里“单位电话”字段缺失率高达60%。后来一查,是前端表单设计有问题,用户不填也能提交。这种坑,数据盘点阶段就得揪出来。

1.1.2 行为数据

用户在你产品里的操作轨迹。比如登录频率、浏览时长、点击行为、借款历史、还款记录等。冷启动时,行为数据往往很少,但价值极高。

为什么?因为行为数据反映的是“真实意图”,而不是“嘴上说的”。

  • 登录频次:一天登录10次但不借款?可能是来薅羊毛的。
  • 借款历史:借了又还,还了又借,循环贷?这类用户风险往往偏高。
  • 还款行为:每次都提前还款?不一定好,可能是资金充裕,也可能是想养额度。

注意:行为数据容易受产品设计影响。比如你改了APP的登录流程,登录率突然下降,这不代表用户变懒了,而是产品体验变差了。分析时一定要结合业务背景。

1.2 外部数据:借力打力

内部数据不够用,就得向外借。外部数据是冷启动阶段最常用的“补丁”。

1.2.1 征信数据

央行征信、百行征信、朴道征信……这些是硬通货。征信报告里,逾期记录、负债情况、查询次数,都是评分卡的强变量。

但征信数据有个问题:覆盖不全。很多年轻用户、蓝领用户,征信报告是“白户”。我遇到过一家消金公司,白户占比超过40%,征信数据基本没用。

1.2.2 多头数据

用户同时在多少个平台借过钱?这个指标,在冷启动阶段比征信还管用。

  • 多头借贷数:近7天申请超过3家?风险信号。
  • 多头共债比:同时在5个以上平台有未结清贷款?大概率是“以贷养贷”。
  • 多头查询频次:一天被查10次?可能是中介在批量操作。

避坑指南:我曾经遇到一个案例,多头数据里显示用户只在2个平台借过款,风险评分很低。结果后来发现,这2个平台都是高利贷,用户已经借了10万,月息30%。所以,多头数据不仅要看“数量”,还要看“质量”——平台类型很重要。

1.2.3 黑名单数据

法院失信被执行人、网贷黑名单、欺诈团伙名单……这些是“一票否决”的数据。只要命中,直接拒绝。

但黑名单也有坑:

  • 时效性:有些黑名单是3年前的,用户可能已经还清了。
  • 覆盖范围:不同数据源的黑名单重叠率很低,单一来源容易漏掉。
  • 误杀风险:同名同姓、身份证号相似,都可能误杀。我建议,黑名单命中后,一定要人工复核。

1.3 数据质量评估:别让垃圾数据毁了模型

数据源盘点完了,下一步就是评估这些数据能不能用。我总结了一个“四步评估法”:

  1. 完整性:缺失率多少?超过50%的字段,直接放弃。
  2. 准确性:数据是否真实?比如年龄填了200岁,明显是错的。
  3. 一致性:同一字段在不同数据源里是否一致?比如身份证号在申请表和征信报告里不一样,那就有问题。
  4. 时效性:数据是否够新?3个月前的多头数据,基本没参考价值。
评估维度 指标 阈值建议 处理方式
完整性 缺失率 <30% 缺失率高的字段,考虑删除或填充
准确性 异常值比例 <5% 异常值做截断或剔除
一致性 跨源匹配率 >90% 匹配率低的,检查数据源对齐逻辑
时效性 数据新鲜度 <30天 过时数据,考虑降权或弃用

小技巧:数据质量评估,我习惯用Python写一个自动化脚本。每天跑一遍,输出一个质量报告。这样哪个字段出问题,一眼就能看到。

1.4 可用性分析:数据能用,但能用多久?

数据质量过关了,还得看“可用性”。说白了,就是这些数据能不能支撑模型上线,以及能支撑多久。

  • 样本量:冷启动阶段,样本量通常很小。我建议,至少要有1000条以上有效样本,才能开始建模。少于500条,模型基本是瞎猜。
  • 变量稳定性:有些变量,比如“近7天申请次数”,波动很大。今天均值是2,明天变成10,那模型就废了。我习惯用PSI(群体稳定性指标)来监控,PSI大于0.25的变量,直接剔除。
  • 业务可解释性:数据再好,如果业务方看不懂,也没用。比如“用户画像标签”这种黑盒变量,我一般不用。评分卡讲究的是“白盒”,每个变量都要能说清楚为什么。

警告:冷启动阶段,千万别贪多。变量不是越多越好。我见过一个团队,堆了200多个变量,结果模型过拟合,上线后一塌糊涂。记住:少即是多。

1.5 知识体系总览

下面这张图,是我自己总结的数据源盘点框架。你想想看,从内部到外部,从质量到可用性,每一步都环环相扣。

数据源盘点知识体系 数据源盘点 内部数据 申请信息 行为数据 交易记录 外部数据 征信数据 多头数据 黑名单 质量评估 完整性 准确性 时效性 可用性分析 → 建模决策

嗯,这张图基本把本章的核心逻辑串起来了。从内部数据到外部数据,再到质量评估和可用性分析,每一步都是冷启动的基石。我个人习惯,每次做新项目,都会先画这样一张图,把数据源理清楚,再动手建模。

最后说一句:数据源盘点,没有捷径。你花的时间越多,后面建模就越顺。我曾经因为偷懒,跳过了数据质量评估,结果模型上线后,坏账率飙升了3倍。从那以后,我再也不敢省这一步了。

蓝海数据掘金营,专注资料整理