📘 模型评估与迭代策略
AI产品经理·实战
🎯 30章 · 完整路线
01
模型评估基础
为什么评估是AI产品的生命线？核心概念（准确率、精确率、召回率、F1-score）精讲。
02
混淆矩阵与ROC曲线
从混淆矩阵看透模型本质，ROC曲线与AUC值的实战解读。
03
回归模型评估
MAE、MSE、RMSE、R-squared，这些指标到底在说什么？
04
离线评估与在线评估
离线测试集怎么建？在线A/B测试怎么玩？
05
评估数据集构建
训练集、验证集、测试集的划分策略，避免数据泄露的坑。
06
交叉验证
K-Fold、Stratified K-Fold、留一法，什么时候用哪种？
07
偏差与方差
欠拟合与过拟合的诊断，我如何用学习曲线找到平衡点。
08
模型可解释性
为什么模型会这么判断？LIME、SHAP工具实战。
09
特征重要性分析
从树模型到深度学习，如何找到真正影响结果的特征。
10
误差分析
手动检查错误样本，我总结的“错误三问”方法论。
11
模型迭代策略总览
从V1.0到V10.0，一个AI产品的迭代路线图。
12
基线模型
为什么先做一个简单的规则模型？我的“快速试错”原则。
13
数据增强
图像、文本、表格数据怎么扩？我踩过的数据增强的坑。
14
特征工程迭代
从原始数据到高阶特征，一步步提升模型天花板。
15
超参数调优
网格搜索、随机搜索、贝叶斯优化，实战对比。
16
模型选择
逻辑回归、树模型、深度学习，如何根据业务场景选型。
17
集成学习
Bagging、Boosting、Stacking，我如何用集成方法稳定提分。
18
模型融合
加权平均、投票法、分层融合，让多个模型协同工作。
19
模型压缩与部署
剪枝、量化、蒸馏，让大模型跑在小设备上。
20
在线学习与增量更新
模型如何持续学习新数据？我的一次实战经历。
21
模型监控
上线后怎么盯？数据漂移、概念漂移的检测方法。
22
告警与回滚机制
模型出问题了怎么办？自动化告警与快速回滚方案。
23
A/B测试进阶
多臂老虎机、样本比例偏差、统计显著性检验。
24
用户反馈闭环
如何将用户反馈转化为模型迭代的信号。
25
模型版本管理
DVC、MLflow、Weights & Biases，工具选型与最佳实践。
26
实验管理
如何科学地记录每一次实验？我的实验记录模板。
27
团队协作流程
AI产品经理、数据科学家、工程师如何高效配合。
28
模型合规与伦理
公平性、隐私保护、可追溯性，AI产品经理的必修课。
29
案例实战·推荐系统（上）
一个推荐系统的完整评估与迭代过程（上）。
30
案例实战·推荐系统（下）
一个推荐系统的完整评估与迭代过程（下）。