推荐系统概述:从零到一的核心认知

大家好,我是这门课的主讲。今天咱们聊聊推荐系统的「前世今生」。说实话,我入行那会儿,推荐系统还是个挺神秘的东西。现在呢?它已经渗透到生活的每个角落了。

你打开抖音,刷到停不下来——这是推荐系统。你在淘宝搜了个「保温杯」,首页立刻推了一堆——这也是推荐系统。甚至你点外卖,平台给你推荐的「猜你喜欢」——还是推荐系统。

嗯,咱们先别急着写代码。先把地基打牢。

推荐系统发展史:从规则到智能

推荐系统不是一天建成的。我把它分成三个阶段:

  • 第一阶段:基于规则的推荐(1990年代)——说白了就是「人工写死规则」。比如「买了A的人也买了B」,或者「喜欢科幻片的人也喜欢动作片」。我在早期项目里见过,运营同学手动配置推荐列表,累得够呛。
  • 第二阶段:协同过滤时代(2000年代)——这是推荐系统的「文艺复兴」。用户-物品矩阵、相似度计算、矩阵分解...Netflix百万美金大奖就是这时候搞的。我记得当时团队为了调一个SVD模型,连续加班两周。
  • 第三阶段:深度学习时代(2010年代至今)——DNN、Wide & Deep、Transformer、多目标优化...模型越来越复杂,效果也越来越好。但说实话,我见过不少团队盲目上大模型,结果线上效果还不如简单的LR。

核心观点:技术演进不是线性的。有时候,最简单的规则反而最稳定。我建议你从规则入手,再逐步升级。

推荐系统应用场景:无处不在的「猜你喜欢」

你想想看,推荐系统到底在解决什么问题?

本质上就一句话:在信息过载的时代,帮用户找到他想要的东西。

常见的应用场景有这些:

场景 典型产品 推荐目标
内容推荐 抖音、今日头条、B站 提升用户时长、点击率
电商推荐 淘宝、京东、拼多多 提升转化率、GMV
社交推荐 微信视频号、微博 提升互动率、关注数
生活服务 美团、大众点评 提升下单率、复购率
音乐/视频 网易云音乐、Netflix 提升播放时长、留存

每个场景的优化目标都不一样。我在做电商推荐时,最头疼的就是「点击率」和「转化率」之间的博弈——用户点了不买,等于白干。

避坑指南:我曾经犯过一个错误——只盯着点击率优化。结果点击率上去了,但用户投诉「推荐的东西根本不想要」。后来才明白,推荐系统的核心不是「让用户点」,而是「让用户满意」。

推荐系统核心架构:从数据到决策

一个完整的推荐系统,说白了就是一条流水线。我习惯把它分成四个模块:

  1. 数据层——这是地基。用户行为日志、物品属性、上下文信息...没有数据,一切都是空谈。
  2. 召回层——从海量物品中快速筛选出候选集。比如从100万商品里选出1000个。常用的有协同过滤、向量检索、图召回等。
  3. 排序层——对候选集进行精准排序。CTR预估、CVR预估、多目标排序...这是模型最密集的地方。
  4. 重排层——最后一道关卡。去重、打散、多样性控制、业务规则...嗯,这里最容易出幺蛾子。

我画个简单的流程图给你看:

用户请求 → 数据层(特征提取) → 召回层(粗筛) → 排序层(精排) → 重排层(后处理) → 返回结果

你可能会问:「为什么需要这么多层?」

原因很简单:性能和效果之间的平衡。如果直接对所有物品做精排,计算量太大了,用户等不起。所以先召回,再排序,最后重排——每一层都在做「减法」。

注意:很多新手容易忽略「重排层」。我在项目中遇到过,排序模型跑得挺好,但线上推荐结果全是同一个类别的商品——用户看都看烦了。后来加了多样性打散,效果立竿见影。

小结:这一章你该带走什么?

好了,咱们总结一下:

  • 推荐系统经历了规则→协同过滤→深度学习三个阶段。别盲目追新,适合的才是最好的。
  • 应用场景不同,优化目标也不同。先搞清楚你的业务要什么。
  • 核心架构是「数据→召回→排序→重排」。每一层都有它的价值,别跳过。

下一章,咱们会深入「日志采集」——也就是推荐系统的「眼睛」。没有好的数据,再牛的模型也是白搭。到时候我会分享一些我在埋点实战中踩过的坑,保证让你少走弯路。

嗯,今天就到这儿。有问题欢迎交流。