通过优化您的SEO抓取预算来提高季节性页面的ROI的5种方法

什么是抓取预算？

Google的目标是向搜索网络的人提供有用的信息。 为此，Google希望从优质来源中抓取内容并将其编入索引。

爬网是昂贵的：仅Google一年就消耗整个旧金山市的能源。 为了抓取尽可能多的有用页面，漫游器必须遵循计划算法，该算法对要爬网的页面和时间进行优先级排序。 Google的页面重要性是这样一种想法，即可以通过多种方法来确定要优先排序的页面。

没有每个站点的爬网设置值的索引。 取而代之的是，根据Google认为您的服务器将要处理的内容以及它相信用户对您的页面的兴趣来分发可用的爬网。

您网站的爬网预算是一种量化Google进行爬网的支出的方式，表示为每天的平均页面数。

为什么要优化您的抓取预算？

借助OnCrawl的亿万页数据，我们还了解到Google抓取页面的频率与它获得的展示次数之间有很强的相关性：抓取频率更高的页面在搜索结果中的出现频率更高。

展示次数与抓取频率之间的关系

这种相关性意味着您可以将爬网预算优化用作在搜索结果中提升一组页面的策略。 如果您的网站上有季节性页面，则这些页面可以基于优化的抓取频率而成为促销活动的理想选择。

为了使这些页面在搜索结果中排在前列，您需要在适当的季节性期间将它们提升到Google网站上其他类型的页面之上。

使用抓取预算优化策略，您可以将Google的注意力吸引到某些页面上，而将注意力从其他页面上移开，以增加网站上季节性变化导致的页面印象。

您将要：

• 优化您的总体抓取预算。
• 使用链接到网站结构中类别首页的“**”来减少重要季节页面的深度。
• 通过从相关页面创建反向链接来提高重要页面的内部流行度。

内部“跟随”链接的数量与爬网频率之间的关系

#1监控您的抓取预算

Google Search Console将为所有Google漫游器的访问提供复合的爬网统计值。 除了官方的12种机器人外，在OnCrawl，我们还注意到了一个新的机器人：Google AMP机器人。 此数据包括所有bot匹配的所有URL（包括JavaScript，CSS，字体和图像URL）。 由于机器人行为的差异，给出的值为平均值。 例如，由于AdSense和移动漫游器必须完全渲染每个页面，与台式机Googlebot不同，因此提供的页面加载时间是完全加载时间和部分加载时间之间的平均值。

对于SEO分析而言，这还不够精确。

因此，衡量站点的爬网预算最可靠的方法是定期检查站点的服务器日志。 如果您不熟悉服务器日志，则原理很简单：Web服务器记录每个活动。 这些日志通常用于诊断站点性能问题。

记录的一项活动是对URL的请求。 在日志中，用于此类活动的行将包括有关发出请求的IP地址，URL，日期和时间以及结果（以状态码的形式）的信息。

这是一个例子：

www.mywebsite.com:443 66.249.73.156 [15 / Aug / 2018：00：02：59 +0000]“ GET / news / my-article-URL HTTP / 1.1” 200 44506“ Mozilla / 5.0（兼容; Googlebot / 2.1; + http：//www.google.com/bot.html）”

通过识别来自搜索Google机器人的所有请求，您可以准确地衡量给定时间内Google机器人的点击次数。 这是您的抓取预算。

这个数字不能告诉您Google是否给予您足够的关注。 具有日志监视功能的SEO搜寻器（例如OnCrawl）可提供其他指标来诊断您的搜寻预算的运行状况。

由于您的抓取预算可以为新的和更新的页面建立索引，因此快速解决问题和突发变化至关重要。

#2解决服务器问题

如果您的网站速度太慢或服务器返回太多超时或服务器错误，则Google会得出结论，您的网站无法支持对其页面的更高要求。

您可以通过修复400和500级别的状态代码以及修改与服务器相关的页面速度因素来更正服务器问题。

由于日志既指示返回的状态码，又指示下载的字节数，因此日志监视是诊断和更正服务器问题的关键。

如果您的站点托管在共享服务器上，则仍可以通过缓存，CDN，适当大小的图像，更新PHP版本以及对资源使用惰性或异步加载技术来提高服务器性能。

#3不要浪费，不要浪费

让Google专注于您要排名的网页，并远离您网站的内容。 通常，您的抓取预算不会用在发现新页面或更新页面上，因为它会花费在其他方面。

您的日志监控数据将提供有关Google在您的网站上进行爬网的内容以及从未发现过的内容的图片。

将日志数据与来自SEO搜寻器的数据集成在一起将帮助您回答以下问题：

• 尽管无法建立索引，但是否仍在对页面进行爬网？ （它们在站点地图中吗？）
• 是否有正在爬网的页面未返回200状态代码？
• Google是否在搜寻图片，PDF和其他媒体的URL？
• 您没有用户点击的Google抓取页面吗？
• Google是否在抓取大量重定向页面？

如果您对以上任何一个问题的回答都是“是”，则可以通过指示漫游器不要抓取这些资源来释放抓取预算。 优先安排消耗最大预算的主题。

另外，OnCrawl的分析可以揭示以下两者之间的关系：

• 网站结构中的页面深度和页面爬网频率。
• 状态代码和页面爬网频率。
• 按点击数和网页抓取频率显示的网页受欢迎程度。
• 内部链接结构和页面爬网频率。

如果您要推广季节性页面，则可以在这里发挥最大作用。 这些关系表明您网站中内容和结构的最佳类型。 相应地修改季节性页面的链接结构，并将这些页面放置在最佳位置深度中，位于其他页面之前。

最后，日志监控和网站抓取数据将揭示由Google抓取的所有孤立页面-未链接到您网站结构中的年龄。 如果这些页面收到了来自Google的访问，请重新将它们连接到您的网站结构，以利用此流量。 否则，请拆除它们或禁止使用机器人。

#4为Googlebot优化

人类可以做机器人不能做，也不应该做的各种各样的事情。 例如，漫游器应该能够访问您的注册页面，但他们不应尝试注册或登录。漫游器不会填写联系表格，回复评论，发表评论，注册新闻通讯，将项目添加到购物车或查看他们的购物篮。

但是，除非您告诉他们不要这样做，否则他们仍然会尝试点击这些链接。 充分利用robots.txt文件中的nofollow链接和限制，使漫游器远离无法完成的操作。 您还可以选择移动与用户选项相关的某些参数，或者查看cookie或限制日历和档案中的无限空间。 这样可以释放抓取预算，以用于重要的页面。

#5提高内容质量

Google的官方声明（无论是代表还是网站管理员支持页面）均表明，抓取预算受内容质量的强烈影响。

OnCrawl将日志数据与语义分析相结合的证据支持了这一事实。 我们发现大多数网站都显示出以下关系：

• 字数和抓取行为。
• 重复的内容和爬网行为。
• 内部PageRank和抓取行为。

您还应该通过使用以下内容来利用优质内容的优势来增强较弱的页面：

• 外部反向链接。
• 内部链接结构。
• 规范优化。

如果您要推广季节性页面，请先集中精力对其进行优化。 站点审核和站点爬网的报告表明，这些组中的哪些页面将从改进中受益最大。

您的健康搜寻预算

合理的抓取预算是确保Google看到您已优化的页面，从而提高SEO工作投资回报率的关键。

进行改进后，请继续监视网站的抓取预算。 这使您可以测量结果并准备对更改做出反应。