2、可解释性分类:全局解释 vs 局部解释,内在解释 vs 事后解释
好,咱们来聊聊可解释性的分类。说实话,我刚入行那会儿,觉得模型能跑通、AUC高就万事大吉。直到有一次,一个信贷模型在测试集上表现完美,上线后却把一批优质客户全拒了。老板拍着桌子问我:「为什么?」我支支吾吾答不上来。从那以后,我彻底明白了——不懂解释的模型,就是个黑箱炸弹。
可解释性不是铁板一块。它分两个维度:范围和时机。范围上,有全局解释和局部解释;时机上,有内在解释和事后解释。这两个维度交叉,就构成了四种解释方式。咱们一个一个说。
2.1 全局解释 vs 局部解释
全局解释,说白了就是回答「模型整体是怎么工作的?」。它关注的是整个模型的行为逻辑。比如,你训练了一个逻辑回归模型,那权重系数就是全局解释——「收入」权重0.3,「负债率」权重-0.5,一目了然。
我习惯把全局解释比作「看地图」。你站在高处,能看到整个城市的布局:哪里是商业区,哪里是住宅区,主干道怎么走。这对业务方理解模型整体倾向很有帮助。比如风控团队想知道「模型到底看重哪些特征」,全局解释就能给出答案。
局部解释则相反,它回答的是「为什么这个样本被判定为高风险?」。你想想看,一个客户被拒了,他肯定想知道具体原因。是收入太低?还是历史逾期太多?局部解释就是干这个的。
举个例子,你用XGBoost做信用评分。全局解释告诉你「年龄和收入是最重要的两个特征」。但局部解释会告诉你:张三被拒,是因为他近3个月查询次数过多,且收入低于阈值。这两个结论,一个用于模型迭代,一个用于客户沟通,缺一不可。
核心区别一句话总结:
- 全局解释 = 模型整体逻辑
- 局部解释 = 单个样本决策依据
2.2 内在解释 vs 事后解释
这个维度讲的是「解释的时机」。嗯,这里要注意,很多人容易搞混。
内在解释,指的是模型本身就自带解释能力。比如线性回归、决策树、逻辑回归。你训练完模型,直接就能看到权重或树结构。不需要额外工具,模型自己就能「说人话」。我刚开始做风控时,监管要求必须解释模型,我就直接用逻辑回归——省心。
但内在解释有个硬伤:模型复杂度受限。你想想看,逻辑回归虽然好解释,但拟合能力有限。遇到非线性关系、特征交互,它就抓瞎了。这时候你就得用更复杂的模型,比如XGBoost、神经网络。
事后解释,就是针对这些复杂模型「亡羊补牢」。模型已经训练好了,是个黑箱,我们再用外部工具去分析它为什么这么决策。常见的工具有SHAP、LIME、PDP等。
我曾经在一个项目中,用XGBoost做反欺诈模型,AUC高达0.97。但监管要求解释每个拒绝样本的原因。怎么办?我上了SHAP。它告诉我:这个用户被标记为欺诈,主要是因为交易IP与常用地址不匹配,且金额是历史均值的5倍。你看,事后解释让黑箱模型也能开口说话。
我的个人建议:
如果业务场景对解释性要求极高(比如信贷审批、医疗诊断),优先选内在解释模型。如果追求性能,那就用复杂模型+事后解释。但记住,事后解释只是近似,不是模型真实的决策逻辑。
2.3 四种分类的交叉组合
把两个维度交叉,就得到四种组合。我画了个图,帮你理清思路。
这张图我建议你保存下来。每次做模型解释方案时,先问自己两个问题:我要解释整体还是个体?模型本身能不能解释?答案落在哪个象限,就用对应的工具。
2.4 实际项目中的选择策略
说了这么多理论,咱们落地到实际项目。我总结了一套选择策略,供你参考。
| 场景 | 推荐组合 | 原因 |
|---|---|---|
| 监管合规(如巴塞尔协议) | 全局内在解释 | 监管要求模型可审计,逻辑回归或评分卡最稳妥 |
| 客户拒件解释 | 局部事后解释 | 每个客户原因不同,SHAP/LIME能给出个性化理由 |
| 模型迭代优化 | 全局事后解释 | 特征重要性告诉你该加哪些特征、删哪些特征 |
| 规则引擎开发 | 局部内在解释 | 决策树路径可直接转化为业务规则 |
避坑指南:
我曾经犯过一个错误:用SHAP的全局特征重要性去解释单个样本。结果发现,某个特征在全局很重要,但对当前样本几乎没有贡献。这就像用全国平均工资去解释某个人的收入——完全不靠谱。记住:全局解释不能替代局部解释,反之亦然。
2.5 小结
可解释性分类,说白了就是搞清楚「你要解释什么」和「用什么方式解释」。全局 vs 局部解决的是范围问题,内在 vs 事后解决的是时机问题。两者交叉,就是你的工具箱。
我个人习惯,在项目初期先问业务方三个问题:
- 你们是要看模型整体逻辑,还是单个样本原因?
- 模型性能优先,还是解释性优先?
- 解释结果给谁看?监管、客户、还是内部团队?
答案清楚了,分类自然就定了。别一上来就调SHAP,先想清楚你要什么。
公众号:蓝海资料掘金营,微信deep3321