模型评估与调优

30章 · 实战技巧
1
模型评估基础 核心
为什么需要评估？三大核心目标：泛化能力、稳定性、可解释性。
2
数据集划分艺术 分层
训练集、验证集、测试集的黄金比例与分层采样策略。
3
混淆矩阵深度解析 矩阵
TP、TN、FP、FN 的实际业务含义与手动计算。
4
准确率的陷阱 警示
什么时候准确率会骗人？不平衡数据集下的真实案例。
5
精确率与召回率 权衡
这对“冤家”如何取舍？F1-Score 的调和之美。
6
ROC曲线与AUC 曲线
从原理到代码，手把手教你绘制与解读。
7
PR曲线 稀有类
当正样本极少时，为什么PR曲线比ROC更靠谱？
8
回归模型评估 指标
MSE、RMSE、MAE、R² 的适用场景与代码实现。
9
过拟合与欠拟合 诊断
如何通过学习曲线一眼识别模型状态？
10
正则化实战 L1/L2
L1（Lasso）与L2（Ridge）的区别，以及何时该用哪个。
11
交叉验证 K-Fold
K-Fold、Stratified K-Fold、Leave-One-Out 优缺点对比。
12
网格搜索 暴力
暴力调参的正确姿势，以及如何避免计算资源浪费。
13
随机搜索 高效
为什么说随机搜索往往比网格搜索更高效？
14
贝叶斯优化 自动
自动化调参的进阶玩法，用最少的尝试找到最优解。
15
学习率调优 收敛
学习率对模型收敛的影响，以及余弦退火等策略。
16
批量大小与迭代次数 Batch
Batch Size 对梯度稳定性的影响，如何平衡速度与效果。
17
特征缩放 归一化
标准化与归一化的区别，以及树模型为什么不需要？
18
特征选择 筛选
过滤法、包裹法、嵌入法的实战对比与代码。
19
PCA降维 主成分
主成分分析的实际应用，以及如何保留多少信息量。
20
类别不平衡处理 采样
过采样（SMOTE）、欠采样、代价敏感学习的取舍。
21
集成学习基础 集成
Bagging、Boosting、Stacking 的核心思想与适用场景。
22
随机森林实战 森林
如何调整树的数量与深度，避免过拟合。
23
梯度提升机 XGBoost
XGBoost、LightGBM、CatBoost 的调参要点对比。
24
模型校准 概率
为什么概率输出不可信？Platt Scaling 与 Isotonic Regression。
25
模型可解释性 SHAP
SHAP 与 LIME 的原理与实战，让黑盒模型开口说话。
26
误差分析 诊断
如何系统性地分析模型错误，找到改进方向。
27
A/B测试与模型上线 在线
离线评估与在线评估的差异，以及流量分割策略。
28
模型监控与漂移检测 漂移
数据漂移、概念漂移的识别与应对方案。
29
自动化机器学习 AutoML
AutoML 工具（如 AutoGluon、H2O）的快速原型验证。
30
综合实战案例 收官
从数据清洗到模型部署，完整调优流程复盘。
专注资料整理