搜索引擎核心原理：爬虫、索引、检索与排序
说实话，搜索引擎这玩意儿，表面上看就是个搜索框加一堆结果。但你往深了挖，核心就四个环节：爬虫、索引、检索、排序。我当年刚入行时，以为搜索引擎就是写个SQL like查询，后来被现实狠狠教育了一顿。今天咱们把这四个原理掰开揉碎，讲清楚。
一、爬虫原理：互联网的搬运工
爬虫是啥？说白了，就是一个自动化的网页下载器。它负责把互联网上的页面抓回来，存到本地。我参与过的一个项目，高峰期每天要处理上亿个URL，爬虫架构稍微设计不好，服务器就崩了。
爬虫的核心流程
- URL种子队列：给爬虫一个起始链接，比如首页。
- DNS解析 + 下载：把域名转成IP，然后发HTTP请求拿页面。
- 解析提取：从HTML里抽取出新的链接。
- 去重判断：已经抓过的URL，不再重复抓。
- 存储：把页面内容存到磁盘或分布式文件系统。
关键点：爬虫不是乱爬的。它要遵守robots.txt协议，还要控制抓取频率。我曾经见过一个新手写的爬虫，直接把对方网站爬挂了，人家直接封了整段IP段。
爬虫的避坑指南
- 去重要谨慎：URL可能有参数，
?page=1和?page=2是不同页面，但?sid=123和?sid=456可能是同一内容。我习惯用URL的规范化处理后再做哈希去重。 - 反爬策略：别用固定User-Agent，别每秒发几百个请求。模拟真实浏览器行为，加随机延时。
- 增量抓取：互联网每天都在变，全量抓取不现实。用Last-Modified或ETag做增量更新。
二、索引原理：让数据变得可搜索
你想想看，如果每次搜索都去遍历所有网页，那得等到猴年马月？索引就是给数据建个目录，让你能瞬间定位到内容。
倒排索引——搜索引擎的灵魂
传统索引是“文档→词”，倒排索引反过来，是“词→文档”。举个例子：
文档1：我喜欢吃苹果
文档2：苹果很好吃
文档3：我喜欢香蕉
倒排索引：
苹果 → [文档1, 文档2]
喜欢 → [文档1, 文档3]
好吃 → [文档2]
香蕉 → [文档3]
搜索“苹果好吃”，直接查倒排表，找到同时包含“苹果”和“好吃”的文档。速度极快。
我的经验：倒排索引的构建要考虑分词。中文分词比英文复杂得多。“南京市长江大桥”该怎么切？我踩过这个坑，后来用了基于词典+统计的分词方案，准确率才上去。
索引的存储结构
| 组件 | 作用 | 我常用的方案 |
|---|---|---|
| 词典 | 存储所有不重复的词 | 用FST（有限状态转换器）压缩，内存占用小 |
| 倒排列表 | 每个词对应的文档ID列表 | 用差分编码+变长编码压缩 |
| 正排存储 | 文档的原始字段（标题、内容等） | 存成列式存储，按需读取 |
三、检索原理：从索引里找答案
索引建好了，怎么查？检索不是简单的“词匹配”，它有一套完整的流程。
检索的基本流程
- 查询解析：把用户输入的“苹果 好吃”拆成词，去掉停用词（“的”、“了”等）。
- 词项查找：去词典里找每个词对应的倒排列表。
- 文档合并：多个词的倒排列表做交集或并集。AND操作取交集，OR操作取并集。
- 评分排序：对命中的文档算分，决定谁排前面。
注意：用户输入可能有拼写错误。比如搜“苹查”，系统要能自动纠错成“苹果”。我做过一个实验，加了拼写纠错后，搜索点击率提升了12%。
检索的优化技巧
- 跳表合并：两个倒排列表做交集时，用跳表可以跳过大量不匹配的文档ID，速度翻倍。
- 布尔查询优化：先处理短的倒排列表，再处理长的。这样可以减少计算量。
- 缓存热点查询：高频搜索词的结果直接缓存，别每次都重新算。我见过一个系统，缓存命中率70%，检索延迟从50ms降到了5ms。
四、排序原理：谁排第一？
检索找到了相关文档，但用户只关心前10个。排序决定了用户体验的好坏。说白了，排序就是给每个文档打个分，分高的排前面。
经典的TF-IDF算法
TF（词频）表示这个词在文档里出现了多少次。IDF（逆文档频率）表示这个词在整个文档集合里有多稀有。公式很简单：
TF = 词在文档中出现的次数 / 文档总词数
IDF = log(文档总数 / 包含该词的文档数)
得分 = TF * IDF
举个例子：搜“搜索引擎”，如果某篇文章里“搜索引擎”出现了5次，而其他文章很少提这个词，那这篇文章得分就高。
我的体会：TF-IDF虽然经典，但有个问题——它不考虑词的位置。标题里的词应该比正文里的词更重要。所以我后来在项目里加了字段权重，标题权重设成10，正文权重设成1。
BM25——更先进的排序模型
BM25是TF-IDF的升级版，它解决了TF无限增长的问题。公式稍微复杂点，但核心思想是：词频越高，得分越高，但有个上限，不会无限涨下去。
BM25得分 = IDF * (TF * (k1 + 1)) / (TF + k1 * (1 - b + b * 文档长度/平均文档长度))
这里的k1和b是调参参数。k1控制词频的影响程度，b控制文档长度的影响。我习惯把k1设成1.2，b设成0.75，效果比较稳。
排序的进阶玩法
- 时效性加权：新闻类搜索，越新的文章权重越高。我做过一个方案，发布时间每过一天，权重衰减5%。
- 点击反馈：用户点击多的结果，排名可以适当提升。这叫“学习排序”，用用户的真实行为来优化排序。
- 个性化排序：不同用户搜同一个词，结果可以不一样。比如程序员搜“Java”，可能想要技术文档；普通用户搜“Java”，可能想要旅游攻略。
避坑指南：排序不是越复杂越好。我曾经在一个项目里加了十几个排序因子，结果线上效果反而变差了。后来我砍掉了一半，只保留最重要的几个，效果反而提升了。记住：少即是多。
总结一下
爬虫负责把数据搬进来，索引负责把数据组织好，检索负责快速找到数据，排序负责把最好的结果放前面。这四个环节环环相扣，任何一个出问题，搜索引擎就不好用。
嗯，今天就聊到这儿。下一章咱们讲分词技术，这是中文搜索引擎最头疼的问题之一。到时候我会分享一些我踩过的坑，保证让你少走弯路。