SEO：优化电子商务网站的抓取预算

针对抓取预算优化电子商务网站可能会影响Google的网络抓取工具访问给定页面的频率，因此，可能意味着新内容或更新内容将更快地出现在Google搜索结果中。

对于Google，抓取预算描述了该公司的搜索蜘蛛Googlebot可以并且想要抓取的特定站点上的页面数。

请记住，Googlebot抓取的页面已保存，建立索引和排名。 这些页面然后出现在Google的搜索结果中。

针对抓取预算优化电子商务网站可能会影响Google的网络抓取器访问给定页面的频率…

请务必注意，Googlebot抓取网页的频率不会影响该网页在给定搜索查询中的排名。 但是，针对抓取预算进行优化可能会引导Googlebot访问网站上最重要的内容。 反过来，这可能会影响其中某些页面的排名，尤其是如果没有对其进行索引的话。

已确定抓取预算

2017年，Google的Gary Illyes描述了Google如何确定特定网站的抓取预算。 他的解释包括三个部分：爬网限制，爬网需求和其他因素。

检索限制。 Google不想淹没网站或其服务器。 通过这种方式，“ Googlebot被设计为成为网络的良好公民。 抓取是它的主要优先事项，同时要确保它不会降低访问该网站的用户的体验。 我们将此称为“抓取速度限制”，它限制了给定站点的最大抓取速度。

如果Googlebot看到有迹象表明它正在影响网站的性能，它将放慢速度，从而有效地降低了访问网站页面的频率。 这可能意味着某些页面根本没有索引。 相反，如果Googlebot从服务器获得快速响应，则可能会增加其访问的频率和强度。

抓取需求。 Illyes写道：“即使没有达到爬网速度限制，如果没有索引需求，Googlebot的活动也会很少。”

“索引需求”可以采用两种形式。 首先，对于流行的网站，Google希望确保已索引了最新的内容。 其次，Google不需要陈旧的索引。 因此，自Googlebot访问某个网站以来已经有一段时间了，即使它不受欢迎，爬网需求也会相对较大。

其他因素。 内容质量和网站结构也很重要。 Illyes建议避免使用低质量的内容，某些种类的多面导航，重复的内容以及类似内容。

Illyes写道：“浪费在此类页面上的服务器资源会从实际上具有价值的页面上消耗爬网活动，这可能会导致在网站上发现精彩内容的时间大大延迟。”

例如，一个流行的补品零售商现在可能正在遇到此特定问题。 该公司拥有庞大的用户论坛，其中包含数百万个URL。 该论坛主要是低价值的内容，但它消耗了该特定电子商务公司的估计爬网预算的很大一部分。

大型网站

搜寻预算的限制影响相对较少的网站。 Google网站管理员趋势分析师约翰·穆勒（John Mueller）在推文中写道：“大多数网站都无需为此担心。 这是一个有趣的话题，如果您要爬网或运行数十亿个URL的网站，这很重要，但对于普通的网站所有者而言，则不那么重要。”

因此，对于诸如Lands'End，Bodybuilding.com，沃尔玛或其他已建立的电子商务企业这样的网站，抓取预算可能至关重要。 如果这些网站的预算出现问题，则可能会导致自然流量下降。

但是，所有电子商务网站的所有者和管理者，无论大小，都应注意爬网预算。

…所有电子商务网站的所有者和管理者，无论规模大小，都应注意抓取预算。

SEO的好处

幸运的是，用于优化抓取预算的方法也有助于搜索引擎优化。 当它着眼于可以改善抓取预算的内容时，您的公司也将采取措施来提高自然排名。

以下是五个技巧，可以帮助您的电子商务网站优化抓取预算。 所有这些对SEO也都有益，即使您的网站没有抓取预算问题。

优先考虑Googlebot抓取的内容。 这可能意味着从Googlebot阻止了您网站的某些部分。 例如，上述客户论坛真的需要在Google上吗？ 如果没有，补充零售商可以增加Google索引中包含的产品页数。 因此，使用robots.txt和nofollow指令可能对爬网预算优化大有帮助。

拥有出色的站点地图。 Illyes在2018年表示，站点地图是Google发现URL的主要方式之一。 这不能保证Google可以对特定页面进行爬网或建立索引，但是站点地图可以提供帮助。 您的站点地图应保持一致; 它们应有助于消除索引问题; 根据SEO顾问Michael Cottam的说法，对于大型网站，它们应该是动态的。

减少错误并重定向链。 抓取预算优化通常是关于干净的技术SEO。 当Googlebot访问您网站上的页面时，应该收到状态码200（表示一切正常）或永久重定向代码301。但是，请确保一个重定向不会导致链中的另一个重定向。

提高网站性能。 “根据Google爬行的专利，机器人的预算与给定服务器的性能完全匹配。 换句话说，如果Googlebot集中抓取服务器并且其效率下降，则该机器人会减慢速度……在这种情况下，一定时间内抓取的URL的数量肯定会减少，”高级SEO专家Wojciech Murawski写道。在Onely。

经常更新。 电子商务网站应定期更新和删减。 应该在产品详细信息页面，新的博客文章以及老化内容的更新中增加内容。

搜寻预算资源

优化抓取预算可能很复杂。 如果您管理着一个大型电子商务网站，那么当然值得进行一些研究。 这里是可以帮助的资源。

• Gary Illyes撰写的“抓取预算对Googlebot的意义”。
• 瑞安·斯图尔特（Ryan Stewart）的视频“爬行预算优化的完整指南”。
• Yauhen Khutarniuk撰写的“驯服蜘蛛：优化爬网预算以提高索引和排名”。
• Bartosz Goralewicz撰写的“ JavaScript vs. Crawl Budget：Ready Player One”。
• Wojciech Murawski撰写的“网站性能和检索预算”。
• 弗朗索瓦·古贝（Francois Goube）的视频“如何优化爬行预算”。
• Joost de Valk撰写的“优化预算”。
• Aleh Barysevich撰写的“优化SEO抓取预算的9条技巧”。