1. 模型评估基础：为什么需要评估？评估的三大核心目标
说实话，我见过太多人把模型训练完就直接上线了。结果呢？线上效果一塌糊涂。我自己刚入行那会儿也犯过这种错——模型在测试集上跑得挺好，一上线就崩了。后来我才明白，评估不是走形式，而是保命的最后一道防线。
你想想看，模型评估到底在评估什么？说白了就三件事：泛化能力、稳定性、可解释性。这三者缺一不可，就像三条腿的凳子，少一条都站不稳。
1.1 泛化能力：模型能不能打硬仗？
泛化能力，就是模型在没见过的数据上表现如何。我习惯把训练集比作「模拟考」，测试集才是「高考」。你模拟考次次满分，高考翻车了，那有啥用？
我在项目中遇到过最典型的例子：一个图像分类模型，训练集准确率99%，测试集只有65%。一看，原来是训练集里所有图片都是白天拍的，测试集里有一半是夜景。模型根本没学会「识别物体」，只学会了「识别亮度」。
核心指标速查表
| 任务类型 | 常用指标 | 我个人的偏好 |
|---|---|---|
| 分类 | 准确率、精确率、召回率、F1 | 优先看F1，尤其是样本不平衡时 |
| 回归 | MSE、MAE、R² | MAE更直观，MSE对异常值敏感 |
| 排序 | NDCG、MAP、MRR | NDCG@K最实用 |
评估泛化能力，我建议至少做三件事：
- 划分训练/验证/测试集——别偷懒，7:2:1是底线
- 交叉验证——数据量小的时候，K折交叉验证能救命
- 看学习曲线——训练集和验证集的差距，能告诉你是否过拟合
一个小技巧：我习惯在训练过程中同时记录训练集和验证集的loss。如果训练loss一直降，验证loss开始反弹——嗯，过拟合来了，赶紧停。
1.2 稳定性：模型会不会抽风？
稳定性，说白了就是模型在不同场景下表现是否一致。我曾经遇到过一个推荐模型，白天效果很好，到了晚上准确率直接掉20%。查了半天，原来是晚上用户行为模式变了，模型没适应。
评估稳定性，我重点关注这几个方面：
- 数据分布漂移——训练数据和线上数据是不是一个妈生的？
- 预测方差——同样的输入，多次预测结果波动大不大？
- 鲁棒性测试——给输入加点噪声，模型还能不能扛住？
避坑指南：我曾经在金融风控项目里，模型在A/B测试时表现完美，全量上线后直接崩了。原因是A/B测试期间用户群体被随机分流，全量上线后用户自选择导致分布变了。从那以后，我每次上线前都会做一次「分布一致性检验」。
怎么量化稳定性？我常用两个方法：
- PSI（群体稳定性指标）——看模型预测分数的分布有没有变化
- KS检验——看两个样本是不是来自同一分布
# 一个简单的PSI计算示例
import numpy as np
def calculate_psi(expected, actual, bins=10):
# 把预测分数分桶
breakpoints = np.linspace(0, 1, bins + 1)
expected_percents = np.histogram(expected, breakpoints)[0] / len(expected)
actual_percents = np.histogram(actual, breakpoints)[0] / len(actual)
# 避免除零
expected_percents = np.clip(expected_percents, 0.001, 1)
actual_percents = np.clip(actual_percents, 0.001, 1)
psi = np.sum((actual_percents - expected_percents) *
np.log(actual_percents / expected_percents))
return psi
# 经验阈值：PSI < 0.1 表示稳定，0.1-0.25 需要关注，> 0.25 必须重新训练
1.3 可解释性：模型为什么这么判？
可解释性，说白了就是模型得讲道理。我见过太多人只关心准确率，完全不关心模型「为什么」做出某个判断。结果呢？模型学了一堆虚假关联——比如把「背景里有草地」当成「有羊」的判断依据。
评估可解释性，我一般从三个层面入手：
- 全局解释——模型整体上依赖哪些特征？
- 局部解释——对某个具体样本，模型为什么这么判？
- 特征重要性——哪些特征对预测贡献最大？
我个人的经验：在医疗影像项目里，模型准确率98%，但医生根本不敢用。为什么？因为模型说不出「为什么觉得这个区域是病灶」。后来我们加了注意力机制和Grad-CAM可视化，医生能看到模型关注了哪些区域，这才敢用。
常用的可解释性工具：
| 工具/方法 | 适用场景 | 我推荐的理由 |
|---|---|---|
| SHAP | 树模型、线性模型 | 理论基础扎实，解释一致性好 |
| LIME | 任意模型 | 灵活，但每次解释结果可能不同 |
| Grad-CAM | CNN模型 | 可视化效果好，直观 |
| 特征重要性 | 树模型 | 简单快速，但只能看全局 |
一个小建议：别只看特征重要性排序。我习惯同时看「特征与预测值的关系图」——有时候一个特征很重要，但它的影响方向可能跟你想象的不一样。比如在信贷模型里，「收入」这个特征很重要，但收入越高违约率反而先降后升——嗯，这背后有经济学解释。
小结
评估的三大核心目标，其实对应着三个灵魂拷问：
- 泛化能力——模型在真实场景下能不能打？
- 稳定性——模型会不会今天好明天坏？
- 可解释性——模型做决策时有没有道理？
这三个目标不是孤立的。我见过一个模型泛化能力很好，但稳定性差——上线后数据分布一变就崩了。也见过模型很稳定，但可解释性差——业务方根本不敢用。所以，评估一定要三管齐下。
下一章，我会详细讲怎么具体评估泛化能力，包括各种指标的计算方法和坑点。到时候我会拿一个实际项目案例来拆解，保证你看完就能用。