1. 搜索引擎架构概览：理解核心组件如何协同工作

搜索引擎这东西，说白了就是一个「信息搬运工」。用户输入一个查询，它得在几毫秒内从海量网页里捞出最相关的结果。我刚开始接触搜索引擎时，总觉得它像个黑盒子——输入关键词，出来一堆链接。后来拆开一看，里面其实就四个核心模块：爬虫、索引器、检索器、排序器。

嗯，今天我们就聊聊这四个家伙是怎么分工的，又是怎么配合的。

1.1 爬虫：搜索引擎的「侦察兵」

爬虫的任务很简单：去互联网上抓取网页。你想想看，搜索引擎要收录网页，总得有人去把内容搬回来吧？爬虫就是干这个的。

我个人习惯把爬虫分成两类：

• 广度优先爬虫：先抓首页，再抓首页上的链接，一层层往外扩。适合抓取大型网站。
• 深度优先爬虫：沿着一个链接链一直往下抓，直到没路了再回头。适合抓取论坛、博客这类有层级结构的网站。

我在项目中遇到过一个问题：爬虫抓取速度太慢，一天只能抓几万个页面。后来发现是DNS解析成了瓶颈。解决办法是搞了个本地DNS缓存，把解析过的域名存起来，避免重复查询。嗯，这个小改动让抓取速度提升了3倍。

1.2 索引器：把网页变成「字典」

爬虫把网页抓回来了，但原始网页是HTML格式的，里面一堆标签、脚本、样式。检索器没法直接用它。这时候就需要索引器出场了。

索引器干的事，说白了就是「倒排索引」。什么意思呢？

正常我们看一篇文章，是从标题看到内容。但搜索引擎需要反过来——给定一个词，找到所有包含这个词的文档。这就是倒排索引。

举个例子：

文档1: "搜索引擎 性能 优化"
文档2: "搜索引擎 架构 设计"
文档3: "性能 调优 实战"

倒排索引：
搜索引擎 -> 文档1, 文档2
性能     -> 文档1, 文档3
优化     -> 文档1
架构     -> 文档2
设计     -> 文档2
调优     -> 文档3
实战     -> 文档3

你看，有了这个倒排索引，检索器要找「搜索引擎」这个词，直接去查索引，一秒就知道文档1和文档2里有。不用再一篇篇翻原文了。

我记得有一次，索引器处理中文分词时出了问题。「南京市长江大桥」被分成了「南京/市长/江大桥」，结果检索「市长」时把这篇文档也捞出来了。后来我们换了个基于统计的分词器，才解决了这个问题。

1.3 检索器：从索引里「捞」结果

检索器是用户直接打交道的模块。用户输入一个查询，检索器就去倒排索引里找匹配的文档。

但这里有个问题：匹配到的文档可能成千上万，用户不可能全看。所以检索器得做两件事：

1. 布尔检索：先找出所有包含查询词的文档。这一步是硬匹配，要么有要么没有。
2. 相关性打分：对匹配到的文档算一个分数，告诉用户哪些更相关。

相关性打分最经典的方法是TF-IDF。TF是词频，IDF是逆文档频率。说白了就是：一个词在文档里出现次数越多，越重要；但这个词如果在所有文档里都出现，那它就不那么重要了。

举个例子：「的」这个字几乎每篇文档都有，那它就不重要。而「搜索引擎」只在少数文档里出现，那它就很关键。

我建议你在做检索器时，一定要考虑查询的「意图」。用户搜「苹果」，可能是想吃水果，也可能是想买手机。这时候光靠TF-IDF就不够了，得结合用户的历史行为或者上下文来判断。

1.4 排序器：决定谁排在前面

检索器把结果捞出来了，但谁排第一、谁排第二，得由排序器说了算。

排序器的核心是「排序算法」。最经典的是PageRank，它认为一个网页被越多的优质网页链接，这个网页就越重要。但光靠PageRank不够，还得考虑：

排序因子	说明	权重建议
相关性	查询词与文档内容的匹配程度	40%
权威性	网站的域名权重、外部链接数量	30%
时效性	文档的发布时间，越新越靠前	15%
用户行为	点击率、停留时间、跳出率	15%

我在项目中遇到过一个问题：排序器算出来的结果，用户点击率很低。后来一分析，发现是「时效性」权重设得太高了。新闻类网站确实需要时效性，但技术博客这种长尾内容，用户更看重质量。于是我们改成了动态权重——根据查询词的类别自动调整各因子的比例。

嗯，这个改动让整体点击率提升了12%。

1.5 四个组件如何协同工作

好了，四个组件都介绍完了。它们是怎么配合的呢？我画个流程给你看：

用户输入查询
    ↓
检索器查倒排索引 → 找到候选文档
    ↓
排序器计算分数 → 按分数排序
    ↓
返回Top N结果给用户
    ↑
（后台：爬虫持续抓取新网页 → 索引器更新倒排索引）

你看，整个流程是「异步+同步」的。爬虫和索引器是后台任务，一直在跑。检索器和排序器是前台任务，用户一触发就立刻响应。

我建议你把爬虫和索引器做成「管道」模式。爬虫抓到一个网页，立刻丢给索引器处理，不用等全部抓完再建索引。这样能保证索引的实时性。

1.6 总结

搜索引擎的四个核心组件，各有各的活：

• 爬虫：去互联网上搬数据
• 索引器：把原始数据变成倒排索引
• 检索器：从索引里快速找到匹配文档
• 排序器：决定谁排前面

它们就像一条流水线，少了哪个环节都不行。你想想看，如果爬虫不干活，索引器就没数据；如果索引器建得不好，检索器就查不准；如果排序器瞎排，用户就找不到想要的内容。

嗯，这就是搜索引擎的骨架。后面我们会一个个拆开细讲，包括怎么优化爬虫的抓取策略、怎么设计高效的倒排索引、怎么让检索器在毫秒级响应、怎么调排序器的权重……

准备好了吗？我们下一章见。