一、评分卡模型监控概述
1.1 为什么需要监控？
说实话，我见过太多团队花三个月建模型，然后就不管了。结果呢？半年后模型悄悄"死掉"了，业务还在用。
模型不是一锤子买卖。你想想看，评分卡上线后，外部环境在变，客户群体在变，业务策略也在变。今天表现好的模型，明天可能就翻车了。
我个人习惯把模型监控比作"体检"。正常人每年体检一次，有基础病的可能每季度一次。模型也一样——定期检查，早发现早治疗。
核心原因有三点：
- 业务风险变化：宏观经济、政策调整、客群迁移，都会让模型失效
- 数据质量退化：上游数据源变更、缺失率上升、异常值增多
- 模型性能衰减：区分能力下降、排序能力变差、校准度偏移
我在项目中遇到过一件事：某信贷产品的评分卡上线后，前三个月KS一直稳定在0.35左右。到了第四个月，突然掉到0.22。排查后发现，原来是风控策略调整了准入规则，导致进件客群变了。嗯，这就是典型的"客群偏移"——模型没变，但打分的人变了。
1.2 监控的生命周期
模型监控不是一次性动作，它贯穿整个模型生命周期。我一般把它分成四个阶段：
| 阶段 | 时间窗口 | 核心任务 |
|---|---|---|
| 上线初期 | 上线后1-3个月 | 验证模型表现是否与开发时一致，排查部署问题 |
| 稳定期 | 上线后3-12个月 | 按月/季度监控核心指标，建立基线 |
| 衰退期 | 上线后12-24个月 | 关注性能衰减趋势，准备迭代方案 |
| 迭代期 | 触发阈值时 | 启动模型重建或调整，新旧模型对比 |
说白了，监控就像开车看仪表盘。刚上路时频繁看，跑高速时偶尔扫一眼，听到异响时立刻检查。你不能等发动机报警了才想起看机油。
我的经验：建议在模型上线时就搭好监控看板。别等出问题了再临时搞，那时候数据口径都对不齐。
1.3 监控的核心指标
指标很多，但真正核心的就三个：PSI、KS、AUC。我一个个说。
1.3.1 PSI（群体稳定性指标）
PSI衡量的是评分分布的变化。说白了，就是看今天打出的分数，和开发时打出的分数，是不是一个路子。
计算公式：
PSI = Σ (实际占比 - 预期占比) * ln(实际占比 / 预期占比)判断标准：
- PSI < 0.1：分布稳定，无需关注
- 0.1 ≤ PSI < 0.25：轻度偏移，需进一步分析
- PSI ≥ 0.25：严重偏移，必须干预
注意：PSI低不代表模型没问题。我曾经遇到一个案例，PSI只有0.08，但KS从0.35掉到了0.18。为什么？因为好坏客户的分数一起往高漂了，分布形状没变，但区分能力没了。所以PSI要结合KS一起看。
1.3.2 KS（区分能力指标）
KS衡量模型区分好坏客户的能力。值越大，说明模型越能把好人和坏人分开。
我习惯这么看：
- KS > 0.3：模型有效
- KS 在 0.2-0.3：勉强可用，需关注
- KS < 0.2：模型基本失效
但这里有个坑——KS会随时间自然衰减。为什么？因为评分卡用的是历史数据，时间越长，变量与目标的关系越弱。我见过一个极端案例：某模型上线时KS 0.42，两年后掉到0.15，但业务一直没发现。
1.3.3 AUC（模型整体性能）
AUC是ROC曲线下的面积，反映模型的整体排序能力。0.5是随机，1.0是完美。
实际业务中：
- AUC ≥ 0.75：表现良好
- AUC 0.65-0.75：可接受
- AUC < 0.65：建议迭代
我个人习惯把AUC和KS一起看。如果AUC稳定但KS下降，说明模型整体排序还行，但中间区域的区分力变差了。如果AUC和KS一起掉，那基本可以确定模型在全面衰退。
三个指标的关系：
- PSI看分布是否漂移
- KS看区分能力是否还在
- AUC看整体排序是否靠谱
三者缺一不可，但优先级不同。我一般先看PSI，再看KS，最后看AUC。PSI出问题，后面两个大概率也会出问题。
1.4 知识体系总览
下面这张图，是我做监控时脑子里始终挂着的框架。你可以把它当成一张"监控地图"：
这张图我每次培训都会拿出来讲。你看，三个分支其实是有逻辑顺序的：先搞清楚为什么监控，再规划什么时候监控，最后落地到用什么指标监控。
一个小建议：刚开始做监控的同学，别贪多。先把PSI、KS、AUC这三个指标跑通，跑顺。等你有感觉了，再慢慢加其他指标。我见过有人一上来就搞十几个指标，结果数据对不齐，自己先乱了。
好了，这一章就到这里。记住一句话：监控不是成本，是保险。你永远不知道模型什么时候会出问题，但你知道——它一定会出问题。