1. 推荐系统概述:发展史、应用场景与核心指标

大家好,我是你们这门课的主讲。今天咱们聊聊推荐系统的“前世今生”。说实话,我入行那会儿,推荐系统还没这么火,大家还在纠结“协同过滤”到底怎么算相似度。一晃这么多年过去,推荐系统已经成了互联网的“水电煤”。

这一章,我不打算讲太深的理论。咱们先搞清楚三件事:这玩意儿怎么来的?用在哪?怎么衡量它好不好? 嗯,打好这个底子,后面咱们才能放心地调模型、怼参数。

1.1 推荐系统发展史:从“猜你喜欢”到“比你更懂你”

推荐系统的发展,说白了就是一场“猜心思”的进化史。我把它分成几个阶段,你品品看。

第一阶段:萌芽期(1990s - 2000s)

最早的推荐系统,其实挺“笨”的。我记得1994年有个叫GroupLens的研究组,搞了个新闻推荐。怎么推的呢?就是找一群跟你口味差不多的人,他们看啥,就推给你啥。这就是经典的协同过滤

那时候没什么深度学习,全靠用户行为数据硬算。我在项目中遇到过一个问题:新用户来了,啥行为都没有,系统直接“傻眼”。这就是后来大家常说的冷启动问题。嗯,这个坑咱们后面会专门讲怎么填。

第二阶段:爆发期(2006 - 2012)

2006年,Netflix搞了个推荐算法大赛,悬赏100万美元。这一下子把全世界的算法高手都炸出来了。矩阵分解、SVD(奇异值分解)这些技术开始大放异彩。说白了,就是把用户和物品都映射到一个“隐空间”里,然后算匹配度。

我个人习惯把这段时间称为“特征工程”的黄金时代。大家发现,光靠用户行为不够,还得加上物品属性、用户画像。你想想看,一个喜欢看科幻片的人,你给他推《星际穿越》和推《喜羊羊》,效果能一样吗?

第三阶段:深度学习时代(2012 - 至今)

2012年之后,深度学习开始渗透到推荐领域。Wide & Deep、DeepFM、DIN这些模型一个接一个地冒出来。为什么?因为深度学习能自动学习特征交互,不用人手工去拼特征了。

我曾经在一个电商项目中,把模型从LR(逻辑回归)换成DeepFM,CTR(点击率)直接涨了8%。但这里有个坑:模型越复杂,对数据量和计算资源的要求就越高。小公司别盲目上大模型,否则你会发现自己连训练都跑不完。

核心观点:推荐系统的发展,本质上是“从人工规则到自动学习”的演进。但无论技术怎么变,理解用户意图始终是核心。

1.2 推荐系统应用场景:无处不在的“猜你喜欢”

你打开手机,几乎每个App都在用推荐系统。我随便列几个典型的场景,你看看是不是都遇到过。

  • 内容推荐(短视频、新闻、文章):抖音、今日头条是典型代表。核心是“留住用户时长”,所以模型会偏向推荐那些“高点击、高完播”的内容。
  • 电商推荐(商品、店铺):淘宝、京东。核心是“转化率”和“GMV”。我做过一个案例,把“加购”作为优化目标,比单纯优化“点击”带来的收入高了30%。
  • 社交推荐(好友、动态):微信、微博。核心是“社交关系链”和“互动率”。这里有个特点:用户更倾向于看到“熟人”的内容,所以协同过滤的效果往往比内容推荐好。
  • 生活服务推荐(外卖、酒店、出行):美团、携程。核心是“时效性”和“地理位置”。你想想看,中午12点给你推荐早餐,那不是找骂吗?

避坑指南:我曾经接手过一个项目,团队把电商的推荐模型直接搬到短视频场景,结果CTR惨不忍睹。为什么?因为电商用户是“有目的”的浏览,而短视频用户是“无目的”的消遣。场景不同,模型设计思路完全不同。

1.3 推荐系统核心指标:怎么才算“好”?

做推荐系统,最怕的就是“自嗨”。你觉得推得好,用户不买账,那等于零。所以,咱们得用指标说话。我一般把指标分成三类:离线指标、在线指标、业务指标

1.3.1 离线指标(模型训练时看)

这些指标在实验室里就能算,不需要上线。常见的有:

  • AUC(Area Under Curve):衡量模型排序能力。AUC越高,说明模型把正样本排在前面的能力越强。我个人习惯,AUC低于0.7的模型,基本不会上线。
  • LogLoss(对数损失):衡量预测概率的准确性。LogLoss越低,说明模型预测的概率越接近真实值。
  • NDCG(归一化折损累计增益):衡量排序列表的质量。特别适合Top-N推荐场景。
指标 含义 取值范围 我的经验阈值
AUC 排序能力 0.5 - 1.0 ≥ 0.75 可上线
LogLoss 概率准确性 0 - ∞ 越低越好
NDCG@K Top-K排序质量 0 - 1.0 ≥ 0.6 算合格

1.3.2 在线指标(A/B测试时看)

离线指标再好看,不上线跑一跑,你永远不知道真实效果。在线指标直接反映用户行为:

  • CTR(点击率):用户看到推荐后点击的比例。这是最基础的指标。
  • CVR(转化率):用户点击后完成目标行为(购买、注册、下载)的比例。
  • 用户停留时长:用户在你的推荐页面上花了多少时间。对于内容平台,这个指标比CTR更重要。

注意:在线指标受很多因素影响,比如UI设计、网络延迟、甚至天气。我曾经做过一个实验,同一个模型,周一和周五的CTR差了5%。所以,做A/B测试时,一定要控制变量,并且跑够时间(至少一周)。

1.3.3 业务指标(老板看)

最后,老板关心的永远是钱和增长。常见的业务指标有:

  • GMV(商品交易总额):电商平台的核心。
  • DAU/MAU(日活/月活):用户规模。
  • 留存率:用户第二天、第七天还来不来。我见过很多模型,CTR很高,但留存率很低。为什么?因为推荐的内容太“标题党”,用户点进去发现是垃圾,下次就不来了。

嗯,这里要强调一点:不要为了优化一个指标而牺牲用户体验。比如,为了提高CTR,疯狂推荐“震惊体”内容,短期数据好看,长期用户流失。这个度,得把握好。

小结

这一章,咱们把推荐系统的“骨架”搭起来了。你知道了它怎么来的(发展史)、用在哪(应用场景)、怎么衡量(核心指标)。下一章,咱们就要开始动手了——从最简单的协同过滤模型讲起。

记住一句话:推荐系统不是算法竞赛,而是工程实践。数据、场景、指标,这三样东西比模型本身更重要。好了,今天就到这儿,有问题咱们评论区见。