1、搜索引擎基础：搜索引擎工作原理、核心组件（爬虫、索引、检索）、相关性定义与评估指标
1.1 搜索引擎到底在干什么？
说实话，很多人觉得搜索引擎就是个「输入关键词，返回结果」的黑盒子。但我在这个领域摸爬滚打这么多年，想告诉你——它背后是一套极其精密的系统工程。
搜索引擎的核心任务，说白了就三件事：抓取、整理、匹配。你想想看，互联网上有几千亿个网页，用户输入一个查询，系统要在几百毫秒内从海量数据里找出最相关的结果。这靠的不是魔法，是扎实的架构设计。
核心公式（我习惯这么记）：
搜索引擎 = 爬虫（获取数据） + 索引（组织数据） + 检索（匹配数据）
1.2 爬虫——互联网的「搬运工」
爬虫是搜索引擎的起点。没有它，后面全是空谈。
我记得刚入行时，带我的老工程师说过一句话：「爬虫写不好，索引全是垃圾。」当时不太理解，后来自己踩过坑才明白——爬虫的调度策略、去重机制、抓取频率，直接决定了索引库的质量。
爬虫的核心流程其实不复杂：
- 种子URL：从一个初始页面列表开始
- DNS解析+下载：把网页内容拉下来
- 解析链接：提取页面里的超链接
- 去重+调度：避免重复抓取，控制抓取节奏
避坑指南：我曾经在一个项目中，爬虫没做好robots.txt的尊重策略，结果被对方网站封了IP段。后来我们加上了爬虫礼仪模块——抓取间隔、User-Agent伪装、robots协议解析，一个都不能少。
1.3 索引——让无序变有序
爬虫拿回来的原始网页，就像一堆没整理过的书。你要让用户能快速找到内容，就得建一个「目录」——这就是索引。
搜索引擎最核心的索引结构是倒排索引（Inverted Index）。
举个例子你就明白了：
| 文档ID | 内容 |
|---|---|
| Doc1 | 搜索引擎算法 |
| Doc2 | 算法工程师 |
| Doc3 | 搜索引擎基础 |
倒排索引长这样：
| 词项 | 文档列表（含位置信息） |
|---|---|
| 搜索引擎 | Doc1(0), Doc3(0) |
| 算法 | Doc1(1), Doc2(0) |
| 工程师 | Doc2(1) |
| 基础 | Doc3(1) |
用户搜「搜索引擎算法」，系统直接查倒排索引，找到Doc1和Doc3，然后按相关性排序。整个过程不用扫描所有文档——这就是索引的威力。
注意：索引不是建完就完事了。我见过太多团队只关注检索算法，忽略了索引的压缩和更新策略。索引膨胀到内存装不下，检索速度直接掉一个数量级。嗯，这里要提醒你——索引的增量更新和合并策略，是搜索引擎性能的隐形杀手。
1.4 检索——从匹配到排序
检索阶段，说白了就是「用户输入查询，系统返回结果」。但这里面的门道很深。
检索分两步走：
- 召回：从索引里快速找到所有可能相关的文档。这一步追求的是「别漏掉」。
- 排序：把召回来的文档按相关性排好。这一步追求的是「排得准」。
我习惯把召回比作「撒网」，排序比作「挑鱼」。网撒得不够大，好鱼可能漏掉；挑得不够准，用户看到的全是杂鱼。
早期的检索模型很简单，比如布尔模型——文档要么匹配要么不匹配。后来有了向量空间模型（VSM），用TF-IDF算权重。再后来BM25成了工业界的主流。现在嘛，深度学习模型（如BERT）已经大规模应用在排序阶段了。
我个人经验：别一上来就上深度学习。先跑通BM25基线，把召回率做到80%以上，再考虑用模型优化排序。否则你模型调得再好，召回来的文档本身就不对，排序也是白搭。
1.5 相关性——搜索引擎的「灵魂」
相关性是什么？说白了就是「用户觉得结果对不对胃口」。
但这是个主观概念。同一个查询，不同用户想要的结果可能完全不同。比如搜「苹果」，有人想要水果，有人想要手机。
从技术角度，相关性评估有几个经典指标：
| 指标 | 全称 | 一句话解释 |
|---|---|---|
| P@K | Precision at K | 前K个结果里，有多少是相关的 |
| MAP | Mean Average Precision | 对所有查询的平均精度取均值 |
| NDCG | Normalized Discounted Cumulative Gain | 考虑排序位置，越靠前权重越高 |
| MRR | Mean Reciprocal Rank | 第一个相关结果排得越靠前越好 |
你想想看，为什么NDCG现在用得最多？因为它不光看结果是否相关，还看相关结果排在第几位。排在第1位和第10位，用户体验天差地别。
一个小技巧：我在做相关性评估时，会同时看P@5和NDCG@10。P@5看「头几条准不准」，NDCG@10看「整体排序好不好」。两个指标一起看，比单看一个靠谱得多。
1.6 评估指标——别被数字骗了
指标是工具，不是目的。我曾经犯过一个错——只盯着NDCG优化，结果NDCG涨了，用户满意度反而降了。后来一查，原来是模型把一些「看起来相关但内容质量差」的页面排上来了。
所以我现在做评估，一定会加一个人工评测环节。找几个标注员，给结果打「相关/不相关/垃圾」标签。机器指标和人工评测结合起来，才能反映真实效果。
另外，在线评估也很重要。比如A/B测试，看新模型上线后，用户点击率、跳出率、搜索深度有没有改善。这些指标虽然不直接等于相关性，但能反映用户真实感受。
警告：别过度依赖离线指标。我见过一个团队，离线NDCG提升了5%，上线后用户指标反而掉了。为什么？因为离线数据集有偏差，覆盖不到长尾查询。所以——离线指标只能作为参考，最终决策要看线上效果。
1.7 本章小结
这一章我们聊了搜索引擎的三大组件：爬虫负责抓数据，索引负责组织数据，检索负责匹配数据。相关性是搜索引擎的核心目标，评估指标是衡量相关性的标尺。
嗯，内容不算多，但都是基础中的基础。下一章我们会深入聊倒排索引的构建与优化——那才是真正考验工程能力的地方。
记住一句话：搜索引擎没有银弹。每个环节都有坑，踩过了才能成长。