搜索引擎

定义

搜索引擎属于信息检索系统的一种，其处理对象主要是互联网上公开可访问的网页、图片、视频和文档^[1]。与人工编辑的网站目录不同，搜索引擎依靠程序自动发现和收录内容，收录规模可以达到数十亿乃至更多页面^[2]。

按覆盖范围，搜索引擎可分为面向整个互联网的通用搜索引擎和只检索某一领域或某一网站的垂直搜索引擎、站内搜索引擎；按工作方式，又可分为自建索引的全文搜索引擎和把检索请求转发给多个搜索引擎再汇总结果的元搜索引擎^[1]。

原理

搜索引擎的工作过程一般分为抓取、索引和排序三个阶段^[4]。网络爬虫从一批起始网址出发，沿网页中的链接不断访问新的页面，并把页面内容下载回来；网站可以通过 robots.txt 文件告诉爬虫哪些路径允许抓取，这一约定在 2022 年成为互联网工程任务组的标准文档 RFC 9309^[5]。

flowchart LR
A[网络爬虫抓取网页] --> B[解析与去重]
B --> C[建立倒排索引]
C --> D[接收检索词]
D --> E[检索与排序]
E --> F[返回结果页]

下载回来的页面经过解析、分词和去重后写入倒排索引。倒排索引以词为键，记录每个词出现在哪些文档中以及出现的位置，检索时只需取出各个检索词对应的文档列表再求交集，就能快速找到候选结果^[6]。

候选结果需要按与检索词的相关程度排序。经典方法之一是词频-逆文档频率（TF-IDF），一个词在某篇文档中出现得越多、在全部文档中出现得越少，它对这篇文档的区分作用就越大^[6]：$\text{tf-idf}(t,d) = \text{tf}(t,d) \times \log \frac{N}{\text{df}(t)}$，其中 $N$ 为文档总数，$\text{df}(t)$ 为包含词 $t$ 的文档数。除文本相关性外，搜索引擎还会利用网页之间的链接关系衡量页面的重要程度，PageRank 就是基于链接分析的代表性算法^[3]。

发展历程

1990 年，加拿大麦吉尔大学的艾伦·恩塔奇（Alan Emtage）等人开发了 Archie，用来检索公开 FTP 服务器上的文件名，通常被视为最早的互联网搜索工具^[7]。1994 年，WebCrawler 上线，成为较早能够检索网页全文的搜索引擎；同年，斯坦福大学的杨致远与大卫·费罗创办了以人工编辑目录为主的雅虎^[1]。1995 年，数字设备公司推出 AltaVista，以较大的索引规模和较快的检索速度受到关注^[1]。

1998 年，斯坦福大学的拉里·佩奇与谢尔盖·布林发表论文，介绍了一个利用网页链接结构计算页面重要程度的大规模网页搜索引擎原型，并在同年创立谷歌公司^[3]。2000 年 1 月，百度在北京成立，提供中文搜索服务^[8]。2009 年，微软推出搜索引擎必应^[9]。

2023 年起，多家搜索引擎把大语言模型引入搜索，在结果页上直接给出概括性的回答并标注来源网页，这种形态通常被称为 AI 搜索或生成式搜索^[9]。

应用

通用网页搜索是搜索引擎最主要的应用，用户借助它查找资料、新闻、产品和服务^[2]。电子商务平台、视频网站、社交平台和企业内部系统也普遍内置站内搜索，帮助用户在单一平台内定位内容。

面向特定领域的垂直搜索覆盖学术文献、专利、地图、招聘、旅行等方向，它们针对领域数据的结构做专门的抓取和排序。搜索引擎提供的接口也被用作其他软件的信息来源，例如问答系统和智能体在回答问题前先发起联网检索，再根据检索到的网页组织答案。

在商业上，搜索结果页上的关键词广告是许多搜索引擎的主要收入来源之一，网站则通过搜索引擎优化争取在自然结果中获得更好的位置^[1]。

局限

搜索引擎只能检索它抓取到并收录的内容。需要登录才能访问的页面、通过表单查询才能生成的数据库内容，以及被 robots.txt 排除的路径，一般不在搜索结果中，这部分内容常被称为深网^[1][5]。大量依赖 JavaScript 在浏览器中生成内容的网页，对爬虫来说也比静态网页更难完整抓取和解析^[4]。

收录存在时间差。网页从发布到被抓取、建立索引需要一段时间，更新频繁的内容在搜索结果中可能不是最新版本^[4]。

排序结果会受到人为干预。部分网站以堆砌关键词、批量制造链接等方式试图提高排名，搜索引擎需要不断调整排序规则加以识别^[2]。此外，个性化排序在提高相关性的同时，也可能使不同用户看到的结果范围变窄，这一现象被称为过滤气泡。

参见

• 信息检索 —— 搜索引擎所属的学科领域，研究如何从大量信息中找到所需内容。

• 网络爬虫 —— 自动访问网页并下载内容的程序，是搜索引擎采集数据的手段。

• 倒排索引 —— 以词为键记录所在文档的索引结构，是全文检索的基础。

• PageRank —— 依据网页之间的链接关系计算页面重要程度的算法。

• 搜索引擎优化 —— 通过调整网站结构与内容提升自然排名的做法。

• 搜索引擎营销 —— 借助搜索引擎推广网站的网络营销方式。

• 垂直搜索引擎 —— 只检索某一领域内容的搜索引擎。

• 元搜索引擎 —— 把检索请求转发给多个搜索引擎并汇总结果的搜索引擎。