1、搜索引擎概述：从零开始认识搜索引擎
大家好，我是这门课的主讲人。今天咱们聊聊搜索引擎——这个你每天都在用，却未必真正了解的东西。
说实话，我入行搜索引擎开发之前，对它的理解也就停留在「在百度/Google 里敲几个字，然后点链接」这个层面。直到有一次，我负责的一个电商网站流量突然暴跌，排查了半天才发现是搜索引擎的爬虫把我们站屏蔽了……嗯，从那以后，我才开始认真研究搜索引擎到底是怎么工作的。
什么是搜索引擎？
搜索引擎，说白了就是一个帮你从海量信息里找到想要内容的工具。你给它一个查询（比如「Python 爬虫教程」），它返回一堆相关的网页链接。
但这里有个关键点：搜索引擎不是实时去全网搜索的。它提前把互联网上的网页抓下来，建好索引，存到自己的服务器上。你搜索的时候，它其实是在自己的「数据库」里查，而不是真的去爬全网。
核心概念：搜索引擎 = 网页抓取 + 索引构建 + 查询匹配 + 结果排序
这四个环节缺一不可。我在项目中见过不少团队只重视「查询匹配」，忽略了「结果排序」，最后用户搜出来的东西驴唇不对马嘴。
搜索引擎的发展历史
搜索引擎的历史，其实挺有意思的。我把它分成几个阶段来讲。
第一阶段：目录时代（1990-1994）
最早的搜索引擎，其实不是「搜」的，而是「翻」的。像 Yahoo! 早期就是人工整理网址目录，你一层层点进去找。我记得那时候上网查资料，得先猜这个网站被分到了哪个类别下——有点像在图书馆找书。
- 1990年：Archie 诞生，第一个搜索引擎，但只能搜文件名
- 1994年：Yahoo! 上线，人工分类目录，风靡一时
个人经验：我刚开始学搜索引擎时，总觉得人工目录很「笨」。但后来做垂直搜索时才发现，在某些特定领域（比如法律、医学），人工标注的准确率远高于纯算法。别小看「人工」的力量。
第二阶段：文本检索时代（1995-1998）
这个阶段，搜索引擎开始真正「搜」起来了。AltaVista、Excite、Lycos 这些名字，老网民应该还有印象。它们用关键词匹配的方式，在网页全文里找你要的内容。
但有个问题：搜索结果太「糙」了。你搜「苹果」，它能把水果、手机公司、唱片公司全混在一起给你。为什么？因为它只看关键词有没有出现，不看上下文。
第三阶段：链接分析时代（1998-2010）
Google 的出现，改变了游戏规则。它引入了 PageRank 算法——简单说，就是看有多少其他网页链接到你，链接越多说明你越重要。
这个思路其实挺朴素的：互联网上的链接，就像学术论文里的引用。一篇论文被引用的次数越多，说明它越有价值。Google 把这个逻辑用到了网页排序上。
关键转折：从「看内容」到「看链接」，搜索引擎第一次真正理解了网页之间的「关系」。
第四阶段：智能时代（2010-至今）
现在呢？搜索引擎已经不只是「搜关键词」了。它开始理解你的意图。你搜「今天天气怎么样」，它知道你要查当前位置的天气；你搜「附近好吃的火锅」，它知道你要找餐厅。
这背后是自然语言处理、知识图谱、深度学习等技术在支撑。我去年参与过一个项目，就是在搜索引擎里加入实体识别——让机器能区分「苹果手机」和「苹果水果」。说实话，效果比我想象中好，但也没那么简单。
主流搜索引擎介绍
目前市面上主流的搜索引擎，我列个表给大家看看：
| 搜索引擎 | 市场份额（全球） | 特点 |
|---|---|---|
| 约 90% | 技术最强，索引量最大，AI 能力领先 | |
| Bing | 约 3-4% | 微软出品，与 Windows 深度集成 |
| 百度 | 中国市场份额约 70% | 中文搜索体验好，有百科、贴吧等生态 |
| Yandex | 俄罗斯市场主导 | 俄语搜索能力极强 |
| DuckDuckGo | 约 0.5% | 主打隐私保护，不追踪用户 |
你可能会问：为什么 Google 一家独大？我个人觉得，核心原因有两个：一是它的索引量确实大，你搜冷门内容也能找到结果；二是它的排序算法太强了，前几条结果通常就是你想要的。
避坑指南：我曾经在做一个中文搜索项目时，直接照搬了 Google 的排序策略，结果效果很差。为什么？因为中文的语义复杂度、网页质量分布和英文完全不同。后来我花了三个月重新调参，才勉强追上百度。所以，别盲目复制别人的方案。
搜索引擎的工作原理
好，终于到了最核心的部分。搜索引擎到底是怎么工作的？我把它拆成四个步骤来讲。
第一步：爬取（Crawling）
搜索引擎派出一堆「爬虫」程序，顺着链接从一个网页跳到另一个网页，把看到的网页内容下载下来。这个过程有点像你逛商场——从一个店铺走到另一个店铺，看到什么记下来。
但有个问题：互联网上的网页太多了，爬虫不可能全爬完。所以爬虫会优先爬那些重要的、更新频繁的网页。怎么判断重要性？看链接数量、网站权重、历史更新频率等。
个人经验：我维护过一个日活千万的网站，发现爬虫经常在凌晨 3 点来「拜访」。后来才知道，搜索引擎会尽量选择服务器负载低的时候爬取，避免影响正常用户访问。嗯，挺贴心的。
第二步：索引（Indexing）
爬下来的网页是原始 HTML，搜索引擎需要把它「消化」成自己能理解的结构。这个过程叫索引构建。
具体来说，搜索引擎会做这几件事：
- 分词：把中文句子切成一个个词。比如「我爱北京天安门」切成「我/爱/北京/天安门」
- 去停用词：去掉「的」「了」「是」这类没实际意义的词
- 建立倒排索引：记录每个词出现在哪些网页里。比如「北京」这个词，出现在网页 A、C、E 里
倒排索引是搜索引擎的核心数据结构。你想想看，如果没有它，每次搜索都要遍历所有网页，那得等到猴年马月？
第三步：查询处理（Query Processing）
用户输入查询后，搜索引擎先做两件事：
- 理解查询意图：用户搜「Java」是想学编程语言，还是想去印尼旅游？
- 扩展查询：用户搜「笔记本电脑」，系统可能自动加上「笔记本」「laptop」「电脑」等近义词
这一步很关键。我见过一个案例：用户搜「怎么治感冒」，搜索引擎只匹配了「治感冒」三个字，结果把「感冒药副作用」这种负面内容排到了前面。这就是查询理解没做好。
第四步：排序与返回（Ranking & Results）
最后一步，也是最难的一步：把匹配到的网页按相关性排序，返回给用户。
排序要考虑的因素太多了：
- 内容相关性：网页内容是否和查询匹配
- 网页质量：内容是否原创、排版是否清晰
- 用户反馈：之前用户点击了这个结果吗？点击后停留了多久？
- 时效性：新闻类查询需要最新内容
核心公式（简化版）：
最终得分 = 内容相关性 × 0.4 + 网页质量 × 0.3 + 用户反馈 × 0.2 + 时效性 × 0.1当然，实际工业界的排序模型比这复杂得多，动辄几百个特征。但核心思想是一样的：综合评估，择优展示。
小结
好了，这一章的内容就到这里。我们讲了搜索引擎的定义、发展历史、主流产品，以及它的工作原理——爬取、索引、查询、排序。
下一章，我们会深入爬虫的细节，聊聊怎么设计一个能爬千万级网页的爬虫系统。到时候我会分享一个我踩过的坑：爬虫被反爬机制封了 IP，结果整个团队加班三天才搞定……嗯，到时候细说。
如果你对搜索引擎有任何疑问，欢迎在评论区留言。咱们下章见。