白帽搜索引擎工作的基本过程和原理

什么是最重要的搜索引擎？有些人说查询结果的准确性，有些人会说查询结果丰富，但实际上这些不是最致命的搜索引擎位置。对于搜索引擎，最致命的是查询时间。想象一下，如果您在百度界面查询关键字，结果将需要5分钟才能将查询结果反馈给您，结果必须是您快速丢弃百度。

搜索引擎为了满足要求的速度（现在商业搜索引擎查询时间单位是微秒级），所以使用缓存支持查询要求，即我们查询搜索结果不及时，但在其服务器中有缓存结果。那么搜索引擎的整体流程是什么？我们可以将其理解为三段。本文只是对这三个工作过程的一般性解释和回顾，其中一些将在其他文章中单独详细解释。

I.网站收藏。

Web collection，事实上，我们经常说蜘蛛爬行网页。因此，对于蜘蛛（Google称之为机器人），他们感兴趣的页面分为三类：

1. 蜘蛛从来没有抓住新的页面。

2. 蜘蛛已被捕获，但页面内容已更改页面。

3. 蜘蛛爬了过来，但现在已经删除了页面。

所以如何有效地发现这三种页面并爬行，是蜘蛛编程的初衷和目的。所以这里'这是一个问题，蜘蛛爬行的起点。

每个网络管理员，只要您的网站没有严重下降，然后通过网站后端服务器，您可以发现勤奋的蜘蛛光顾您的网站，但您是否从撰写p的角度考虑rogram，蜘蛛怎么来？鉴于此，各方都有意见。据说蜘蛛从种子站（或称之为高重量站）根据从一开始就从高到低的重量爬行。另一种说法蜘蛛在URL集中爬行并不明显。顺序，搜索引擎将基于网站更新规则的内容，在最佳时间爬行网站时自动计算，然后爬行。

事实上，对于不同的搜索引擎，其爬行起点肯定会有所不同，对于百度，赵先生更倾向于后者。百度官方博客发表在"索引页面链接以补充方法机制"（地址：http://stblog.baidu-tech.com/？p=2057）在本文中，很明显"spider将尝试以合理的频率检测网页的发布周期以检查页面"，由此我们可以推断出在百度'中;s索引库，对于每个URL集，它计算适当的爬行时间和一系列参数，然后计算相应的爬行站点凡客网站。

在这里，我想解释一下，是针对百度，网站不是蜘蛛爬行页面价值的价值。例如，网站：www。***.com，数值并不总是说百度包含值，想查询具体百度应该包含在百度网络主工具查询索引号中。那是什么网站？我将在以后的文章中对此进行解释。

蜘蛛如何找到新的链接？它依赖于超链接。我们可以将所有互联网视为集体蜘蛛的**，从URL的开头设置沿着页面的超链接，开始不断发现新的页面。在此过程中，将找到的每个新URL与**a中已经存在的URL进行比较，并且如果将新URL添加到**a中，则如果它存在于**a中则将其丢弃。站点遍历爬行策略的蜘蛛分为两种，一种是d首先，另一个是宽度首先。但如果百度是这样一个商业搜索引擎，其遍历策略可能是一些更复杂的规则，例如域名本身的权重，涉及百度'自己的服务器矩阵分布。

两个。预处理。

预处理是搜索引擎中最复杂的部分，大多数排名算法在预处理中都是有效的。然后搜索引擎在此链接的预处理中，数据主要用于以下步骤处理：

1. 提取关键字。

蜘蛛爬行到页面上，我们在浏览器中看到，源是相同的，通常代码混乱，页面的许多主要内容都不相关。因此，搜索引擎需要做三件事：代码到噪音。从页面上删除所有代码，只留下文本。② 除非文本关键字。例如，页面上的导航栏和不同页面共享的公共区域的其他关键字。③ 删除停用的单词。术语"stop"指的是没有特定含义的单词，例如"in"等等。

当搜索引擎获取此网页的关键词时，它将使用自己的单词分割系统，将本文划分为单词分割列表，然后存储在数据库中，并与本文的URL一一对应。让我说明一下。

如果蜘蛛爬行页面URL是http://www。***.com/2.html，搜索引擎此页面经过上述操作后提取P的关键字集，P为关键字P1，P2，…，pn组成，然后在百度数据库中，它们之间的关系是一一对应的，如下所示。

2. 消除网页的重复和重印。

每个搜索引擎都有不同的算法来识别重复的页面，但是赵先生认为如果算法被理解为由100个元素组成，那么所有搜索引擎都担心80个元素完全相同。而另外20个元素，是基于不同的搜索引擎对SEO态度不同，并具体设置相应的策略。在本文中，搜索引擎的一般流程来解释初步的，具体的数学模型没有更多的解释。

3. 重要信息分析。

在代码去噪过程中，搜索引擎不是简单地将其删除，而是充分利用web代码（如H标签，强标签），关键字密度，链内锚定文本来分析最重要的这页短语。

4. 网页分析的重要性。

通过指向页面's外部链锚文本以通过此页面的值的权重以确定权重值，并与上述"重要信息分析"，以便在排名因子的每个关键词中建立网页关键字集p.

5. 反转文件。

如上所述，用户的查询结果不及时，但在搜索引擎缓存中已粗略排列，当然，搜索引擎不是先知，他不知道用户将查询哪些关键字，但他可以构建关键字词库，并且在处理用户查询请求时，将按照单词分割的词库。因此，搜索引擎可以在用户生成的凡客网站查询行为中，每个关键字在其相应的URL排名中的词库排名第一计算良好，从而**节省了查询的处理时间。

让's举几个例子来说明以下内容。

如果http://www。***.com/2.html页面被切割成P={P1，P2，P3，…，PN}，它通过下面的图像反映在索引数据库中。

上图为方便大家理解，索引数据库实际上是数据库最高性能要求的搜索引擎，因为所有因素都受算法影响，因此，我认为实际索引数据库应该由更复杂索引表的多维数组组成，但其主要作用体现与上述相同。

第三，查询服务。

顾名思义，查询服务是处理搜索界面查询请求中的用户。搜索引擎构造检索器，然后分三步处理请求。

1. 根据查询方法和关键字切割单词。

首先，将所有用户搜索关键字切成关键字序列，我们暂时使用Q表示，将用户搜索关键字Q切成Q={q1，q2，q3，………，qn}。

然后根据用户查询方法，如将所有单词链接在一起，或在空间的中间，并根据q中不同关键字的单词，确定查询中所需的查询单词，每个单词的结果显示占有的重要性。237>

2. 搜索结果排序。

我们有搜索词**q，q每个关键字对应于URL排序索引库，同时根据用户's查询方法和部分语音计算查询结果中的每个关键字显示重要的，然后只需要执行全面的排序算法，搜索结果来了出。

3. 显示搜索结果和文档摘要。

当搜索结果可用时，搜索引擎将搜索结果显示在用户界面中供用户使用。

在这里，您可以考虑两个问题。

在搜索界面中，我们经常发现百度显示的摘要是用户搜索词，如果我不仅查看第一页，多页，您会看到一些结果，因为目标页面本身不完全包含搜索词，并且总结的出价提取红色单词只是搜索词的一部分，那么我们可以理解，百度在搜索词中没有完全包含在案件中，应该优先显示在该词的结果中是百度更重要的字？然后从这些搜索结果中我们可以看到百度分割算法的一部分？

②有时页面会出现多次搜索词，百度搜索结果页面在网站摘要部分只会显示该部分，通常所以部分连续，然后我们无法理解在摘要部分，百度会优先显示它所考虑的页面和搜索词中最重要的部分？那么我们可以从百度推断出噪音后的页面到权重分配算法的不同部分？

这两个问题，做他们自己的SEO朋友探索和研究它，赵先生别在这个没有孩子的地方。

四，目前的百度's处理漏洞。

请原谅我使用过程漏洞来描述这个模块，但我不得不说，在当前世界的点击中，我认为说漏洞是错误的。

也就是说，除了前三大链接外，百度还建立了一个用户行为模块，以影响原始数据库和索引库。而原有数据库的影响，百度是投诉的快照，主要是针对某些行为的互联网利润，这是可以理解的。而索引库的影响，是用户's点击行为，设计本身是可以理解的，但百度算法还不成熟，导致作弊猖獗的点击。

百度's用户行为分析模块非常简单，除了自己对入口的投诉外，是在点击行为的搜索界面收集用户，如果此页面结果是大多数用户要阅读，但是没有产生点击，用户实际上大多选择点击第二页甚至页面后面的更多内容，然后这种现象将是百度工程师所知道的，算法基于这方面进行了微调。现在百度对于不同的行业，其算法长期以来一直存在差异。

如果前两页的搜索屏幕被大量用户点击，搜索结果通常会在24岁时提升到第一位。

V.搜索引擎通用流程图（加上用户行为分析器）

以上是我对搜索引擎工作的基本过程和原理的理解。

最后，我想说，大量的搜索引擎优化从业者应该找到百度或谷歌或其他网站商业搜索引擎，他们将要求seoer不关心算法，不关心搜索引擎，而是更多地关注用户体验。在这里我们可以理解，作为比喻，搜索引擎是买西瓜人，而徐是西瓜人，买西瓜人问我们这类西瓜不关心他们选择西瓜的标准，但很多关心如何种植好西瓜，他们需要什么样的西瓜好西瓜，他们经常用一些模糊的概念来覆盖过去。可以肯定的是，这个搜索引擎的结果将会多种多样，他们可以选择更多选择的结果，以最大限度地维护这些商业搜索引擎本身，但请不要忘记我们必须吃西瓜。

赵先生始终坚持白帽徐，深入研究UE，为用户做一个有意义的站。但与此同时，我也坚信，作为seoer，我们还应该及时了解算法，以便我们与用户保持一致's味道，更多可以在搜索引擎中得到一个好的节目，因为毕竟，seoer也是一个人，也希望过得更好。将来，我将在其他文章中对搜索引擎链接进行逐步分析，并在我的博客"搜索引擎原则"中发布;在本栏中，我希望帮助您。

本文从赵先生'博客：http://www.seozhao.com/319.html重印请注明。