JavaScript SEO – Google如何抓取JavaScript

在SEO中，我们始终关注排名和SERP，但我们还需要知道在此之前发生的过程。 那就是爬行和索引。

Google对索引中的网页进行排名。 如果您的网页未编入索引或索引编制不正确，则排名将受到影响。

网络已经从纯HTML转变为SEO，您可以接受它。 向JS开发人员学习并与他们分享SEO知识。 JS不会消失。 –高级网站管理员趋势分析师John Mueller

您需要知道的是这个。

JavaScript网站和非JavaScript网站的过程有很大不同，这就是为什么JavaScript如果不谨慎执行就会影响您的排名。

谷歌在2014年表示，他们正在尝试通过执行JavaScript更好地理解网页。 但是他们实际上是如何做到的呢？ 他们可以在多大程度上呈现JavaScript？

让我们仔细研究整个爬网和索引编制过程。

谁，或者在这种情况下，过程涉及什么？

Googlebot

这是爬行者，也称为蜘蛛。 每当有新网页或网页上有任何新更新时，Googlebot都是搜索引擎的第一联系人。

它的作用是爬网网页并跟踪网页中的所有链接。 这样，机器人就可以发现更多新链接和更多新网页以进行爬网。 然后将爬网的网页传递给Caffeine进行索引。

请记住，可以使用robots.txt拒绝Googlebot的访问。 如果要对JavaScript驱动的网页进行爬网和建立索引，首先要记住的是记住要允许爬网程序访问。 请记住，还要通过提交XML网站地图，使用Google Search Console将您的URL提交给Google。

***

该索引器是2010年推出的索引器。无论是Googlebot抓取的什么内容，Caffeine都会对其进行索引，而该索引就是Google选择要对其进行排名的网页的位置。

除了索引已爬网内容之外，Caffeine还要做的一件重要事情是，Caffeine还是呈现JavaScript网页的人。 这对于JavaScript来说非常重要，如果不渲染搜索引擎将无法索引网页的完整内容。

从渲染中发现的链接也将发送回Googlebot，以排队进行爬网，这将导致第二次建立索引。 这是要记住的非常重要的一点，因为SEO的一个重要部分是内部链接。 将网站中的网页相互链接可为Google发出强烈的信号，例如网页排名，权限以及抓取频率。 最终，这一切都会影响页面排名。

这是一张简短的图片，总结了Googlebot和Caffeine的功能。

爬行：搜索引擎可以找到您的页面吗？

现在，确保对网站进行爬网和建立索引是将您的网站显示在SERP中的前提。 检查被索引的页面的一种方法是高级搜索运算符“ site：yourdomain.com”。

前往Google，然后在搜索栏中输入“ site：yourdomain.com”。 Google会在指定站点的索引中返回结果，如下所示：

这是Google对BiQ Cloud进行索引的结果，现在就去尝试一下您的网站！

Google所显示的结果数量（请参见上面的“关于XX个结果” ）并不确切，但是它确实使您对网站上的哪些页面建立了索引以及它们当前在搜索结果中的显示方式有明确的了解。

为了获得更准确的结果，如果您目前没有免费的Google Search Console帐户，可以注册一个。

JavaScript驱动的网页的爬网和索引过程不同

在这里，我们有一张来自今年Google I / O的直观图形，它向您显示了从爬网到索引和渲染的流程。

这对于了解整个过程很有帮助，但是为什么我们不放大一点呢？

那么，当搜索引擎访问正常的，非Javascript驱动的HTML页面时，会发生什么？

• 1. Googlebot下载您网页的原始HTML文件。

• 2. Googlebot将HTML文件传递给Caffeine，以提取所有链接和元数据。

• 3. Googlebot继续抓取所有发现的链接。

4.提取的内容由***索引并用于排名。

现在，这是当Googlebot到达您的JavaScript网页时发生的情况。

• 1. Googlebot下载您网页的原始HTML文件。

• 2.没有什么，因为所有内容都被JavaScript隐藏。

• 3.***没有要索引的东西。

4.您的网页没有排名，因为没有内容。

好吧，那是最坏的情况，当您没有以搜索引擎可以呈现的方式实现JavaScript时会发生什么，因此就Google而言，您的网页的索引版本为空。

现在，空白网页的排名不会很好。 因此，您需要了解如何以完全索引索引的方式来实现JavaScript，或者尽可能接近使用现代浏览器对用户的显示方式。

幸运的是，现在Caffeine实际上具有像浏览器一样呈现JavaScript文件的功能。 当Google透露搜索引擎的WRS（Web渲染服务）实际上是基于Chrome 41时，Google给所有SEO和Web开发人员一个很大的惊喜。 随着Chrome 69于9月份推出，搜索引擎在呈现现代JavaScript方面的功能严重不足。 但是，嘿，总比没有好吗？

Google目前处于领先地位，其搜索引擎可以更好地索引您的JavaScript网页。 （ps：ask.com是从一个未命名的第三方搜索引擎中获得一部分索引的，我想我们都知道那是谁…）

具有渲染功能的Google到达您的JavaScript驱动的网页时会发生什么。

• 1. Googlebot下载您网页的HTML文件。

• 2.首次索引会在没有呈现内容的情况下立即发生，而Caffeine则在呈现JavaScript。

• 3.所有提取的链接，元数据，内容等都将传递回Googlebot，以供将来抓取。

4.提取的内容在第二次索引编制过程中被索引并用于排名。

那么，这是否意味着Google可以毫无问题地对您的JavaScript网页进行爬网和编制索引？ 好吧，简短的答案是没有。 我的意思是，看看Hulu。

Google可以抓取JavaScript，但不能抓取所有JavaScript。 这就是为什么对网页实施优雅降级如此重要的原因。 这样，即使搜索引擎无**确呈现您的网页，至少也不会造成灾难性的影响（想想Hulu）。

对于Google来说，具有抓取JavaScript的功能是，它既资源密集又昂贵。 第一个索引的建立可以像它们为HTML端建立索引一样快，但是重要的是，第二个索引发布后的渲染将被放到队列中，直到他们有足够的资源来这样做为止。

想象一下，这意味着您为Google提供了一顿饭，但是由于他们没有餐具可以吃，他们只能通过看来判断它的好坏，并且服务器直到他们回来时才会带回餐具重新从另外3个表中获取订单后，Google随后在Yelp上发布了一条评论，称您的食物很烂。

听起来公平和有益吗？ 一定不行。

像抓取速度一样，第二次建立索引的速度和频率取决于网页排名，反向链接，更新频率，访问者数量甚至网站速度等几个因素。

那么，如何确保Google可以正确地抓取，呈现和索引JavaScript网站呢？ 请注意，不要很快，因为这是另一个完整的问题要回答。

通过使用Google Search Console中的抓取和呈现工具和Chrome 41浏览器，您可以使用两个重要的工具来评估Google抓取JavaScript网站的性能（您可以在此处下载该浏览器，向Elephate和他们赞叹不已）在Chrome 41上发布并渲染）

使用Google抓取方式功能来检查搜索引擎是否可以正确呈现您的网页。 （来源）

您也可以转到CanIUse查看Chrome 41支持哪些功能。

该网站为您提供了所有浏览器版本支持和不支持的功能的清晰视图。 使用它再次检查您的脚本是否可以由Caffeine渲染的Chrome 41执行。

这些都是至关重要的工具，可帮助您了解整个爬网，渲染和索引编制过程。 这样，您将更好地了解哪里出了问题以及出了什么问题。

如果您在网站中使用javascipt却不知道您的网站在Google上的排名是否很好，会发生什么？

这样一来，您将失去所有机会（排名，访问量，潜在客户）给竞争对手。 您需要拥有我们所谓的排名情报工具，才能使事情顺利进行。

由BiQ SEO Suite提供的Rank Intelligence，可让您利用数据进行网站分析并发现机会，以扩展和控制搜索范围。

此功能的最大优点是使您能够发现自己甚至不知道有机会获得的排名！

想象一下，多年来有超过100多个网站，而每个网站都没有适当的照顾就被抛在一边，以使其排名一次高。 知道正确的关键字及其在SERP中的位置将使您有机会使您的网站变得更好！

更妙的是，BiQ具有排名跟踪功能，可在您完成网站优化后帮助您大量跟踪和监视所有网站。 谈效率！

排名情报（和排名跟踪）中的这些重要信息将提供唾手可得的实时探索，以思想的速度释放BiQ Cloud独有的排名网站的功能。

总结一下……

1. Googlebot抓取，***索引并进行渲染。
2.对于HTML网页，Googlebot会请求一个页面并下载HTML，然后Caffeine将内容编入索引。
3.对于JavaScript网页，Googlebot请求一个页面，下载HTML，首先进行索引。 然后，Caffeine渲染页面，将渲染的链接和数据发送回Googlebot进行抓取队列，重新抓取后，提示进行第二次索引编制。
4.渲染占用大量资源，第二个索引将进入队列，这会使效率降低。
5.使用Google Search Console和Chrome 41上的获取和呈现工具，来评估Google可以为您的JavaScript页面编制索引的程度。
6.使用BiQ的排名智能，确保您的网站也获得了正确关键字的排名，以确保您的工作不会浪费。

这是您可能对JavaScript SEO感兴趣的另一篇文章：JavaScript支持的网站的SEO（Google IO 18摘要）