2. 离线评估方法论：离线实验设计、数据集划分、历史回放
好，咱们进入第二章。说实话，离线评估是整个推荐系统评估里最「可控」的一环。你想想看，线上你不敢乱动，怕影响用户体验；但离线不一样，你可以随便折腾数据，反复验证想法。我个人的习惯是，先离线把方案跑通，再考虑上线。
但这里有个大坑——离线实验设计不好，你得到的指标再漂亮，上线也是白搭。我见过太多团队，离线 AUC 刷到 0.85，上线一看，CTR 反而跌了。为什么？因为离线实验的设计本身就「作弊」了。
2.1 离线实验设计：别让数据「穿越」
离线实验的核心就一句话：模拟线上真实环境。线上模型看到的是过去的数据，预测的是未来的行为。离线实验也必须遵守这个规则。
我刚开始做推荐时，犯过一个低级错误。我把用户全量历史数据随机切分，80% 训练，20% 测试。结果模型在测试集上表现极好，上线后却一塌糊涂。后来才发现，测试集里混入了未来的信息——用户今天的行为被用来预测昨天的点击，这不就「穿越」了吗？
离线实验设计，我建议遵循三个原则：
- 时间一致性：训练数据的时间窗口必须完全在测试数据之前
- 用户独立性：同一个用户的行为不能同时出现在训练集和测试集
- 样本代表性：离线数据分布要尽量接近线上真实分布
2.2 数据集划分：三种主流方法
数据集划分是离线评估的基石。我常用的方法有三种，各有适用场景。
2.2.1 留出法（Hold-out）
最简单粗暴的方法。把数据按时间切一刀，前 N 天做训练，后 M 天做测试。
# 伪代码示例：留出法划分
train_data = data[data['date'] < '2024-06-01']
test_data = data[data['date'] >= '2024-06-01']优点：实现简单，计算快。缺点：对数据波动敏感。比如双十一那天的数据，跟平时完全不一样。如果你用留出法，恰好把双十一划到测试集，模型就懵了。
2.2.2 时间片划分（Time-based Splitting）
这是我最推荐的方法。把数据切成多个连续的时间窗口，每个窗口内再划分训练和测试。
| 时间窗口 | 训练集 | 测试集 |
|---|---|---|
| 第 1 周 | 第 1-6 天 | 第 7 天 |
| 第 2 周 | 第 8-13 天 | 第 14 天 |
| 第 3 周 | 第 15-20 天 | 第 21 天 |
这样做的好处是，你能看到模型在不同时间段的稳定性。我曾在项目中用时间片划分，发现模型在周末的效果明显差于工作日。后来一查，原来是周末的用户行为模式跟平时不一样，模型没学到。
# 时间片划分示例
def time_slice_split(data, window_size=7, test_size=1):
slices = []
for start in range(0, len(data) - window_size, window_size):
train = data[start : start + window_size - test_size]
test = data[start + window_size - test_size : start + window_size]
slices.append((train, test))
return slices2.2.3 历史回放（Historical Replay）
这个方法比较高级，说白了就是「时光倒流」。你把模型放到过去某个时间点，让它用当时的数据做预测，然后跟真实发生的用户行为对比。
我举个例子。假设今天是 2024 年 6 月 1 日，你想评估一个模型。你可以把时间「回放」到 2024 年 5 月 1 日，用 5 月 1 日之前的数据训练模型，然后预测 5 月 1 日到 5 月 7 日的推荐结果。最后跟真实数据对比。
我记得在某个电商项目中，我们用历史回放评估了一个新模型。离线 AUC 只提升了 0.02，但上线后 GMV 提升了 5%。为什么？因为历史回放捕捉到了用户在不同时间点的真实反馈，而 AUC 这种指标太「粗糙」了。
2.3 三种方法的对比与选择
你可能会问，到底该用哪种？我整理了一张表，方便你对比。
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 留出法 | 简单、快速 | 对时间敏感，易受异常点影响 | 数据量大、时间分布均匀 |
| 时间片划分 | 能评估模型稳定性 | 需要多次训练，计算成本高 | 周期性数据、需要监控模型波动 |
| 历史回放 | 最接近线上环境 | 实现复杂，计算量大 | 高价值场景、上线前最终验证 |
我个人习惯是：先用留出法快速验证想法，再用时间片划分做精细调参，最后用历史回放做上线前的最终评估。三步走，既保证效率，又保证效果。
2.4 实战中的注意事项
嗯，这里要特别提醒几个点。
- 数据泄露：这是离线评估的头号杀手。确保训练集和测试集之间没有信息泄露。比如，你不能用用户未来的点击行为来训练模型。
- 样本偏差：离线数据往往存在偏差。比如，线上只有曝光过的物品才有反馈，但离线评估时，模型可能会推荐从未曝光过的物品。这时候，你需要做「反事实评估」。
- 评估指标的选择：离线指标跟线上指标不一定完全一致。我见过很多团队，离线 AUC 刷得飞起，上线后 CTR 纹丝不动。所以，离线评估只是参考，不能完全替代线上实验。
好了，这一章的内容就到这里。离线评估是推荐系统评估的基石，但也是最容易出问题的地方。你想想看，如果离线实验设计都不靠谱，那后面的线上评估还有什么意义？下一章，我们会聊到线上评估的方法论，包括 A/B 测试和在线指标。到时候你会发现，离线评估和线上评估其实是相辅相成的。