5种避免在您的电子商务网站上出现重复内容和索引问题的方法

与开发任何其他类型的网站相比，电子商务网站以开发URL结构而臭名昭著，URL结构会导致搜索引擎出现爬网和索引问题。 重要的是要对此进行控制，以避免重复的内容和抓取预算的麻烦。

以下是使电子商务网站的索引保持最佳状态的五种方法。

1.了解Google索引中的内容

首先，定期检查Google报告索引的网页数量非常重要。 为此，您可以在Google上运行“ site：example.com”搜索，以了解Google在网络上知道多少个页面。

尽管Google网站管理员趋势分析师Gary Illyes提到了这个数字只是一个估计值，但这是识别网站索引是否有严重缺陷的最简单方法。

关于索引中的页数，Bing的Stefan Weitz也承认Bing

…估计这个数字，通常是错误的…我认为Google已经推出了这么长时间，人们希望看到它

内容管理系统（CMS）与电子商务平台，站点地图和服务器文件之间的编号应几乎完全匹配，或者至少与所解决和解释的任何差异匹配。 反过来，这些数字应大致与Google网站运营商搜索返回的内容一致。 智能的现场SEO可以为您提供帮助; 考虑到SEO开发的网站可以避免重复的内容和可能导致索引问题的结构性问题，从而对您大有帮助。

虽然索引中的结果太少可能是一个问题，但结果太多也可能是一个问题，因为这可能意味着您在搜索结果中有重复的内容。 尽管Ilyes确认没有“重复内容惩罚”，但是重复内容仍然会损害您的抓取预算，还会削弱重复页面的权限。

如果Google返回的结果太少：

• 确定站点地图中哪些页面未显示在Google Analytics（分析）自然搜索流量中。 （使用较长的日期范围。）
• 在Google中搜索这些页面的代表性示例，以识别索引中实际缺少的页面。 （您不必为每个页面都这样做。）
• 确定未建立索引的页面中的模式，并系统地解决整个网站中的模式，以增加这些页面被建立索引的机会。 要寻找的模式包括重复的内容问题，缺少入站内部链接，不包含在XML网站地图中，无意的无索引或规范化以及带有严重验证错误的HTML。

如果Google返回的结果过多：

• 使用ScreamingFrog，DeepCrawl，SiteBulb或类似工具运行网站爬网，并标识具有重复标题的页面，因为这些页面通常具有重复的内容。
• 确定是什么原因导致重复，然后将其删除。 原因和解决方案多种多样，这些将构成本文的其余部分。

2.优化站点地图，robots.txt和导航链接

这三个要素是建立强索引的基础，并且在其他地方已进行了深入介绍，但是如果我在这里不提及它们，我将不予理会。

我无法强调全面的站点地图的重要性。 实际上，我们似乎已经达到了它比您的内部链接更重要的地步。 Gary Ilyes最近证实，即使“ head”关键字（与长尾关键字相对）的搜索结果也可以包含没有入站链接甚至内部链接的页面。 Google唯一了解这些页面的方法是通过站点地图。

请务必注意，Google和Bing的指南仍然指出，至少应通过一个链接就可以访问页面，而站点地图绝不丧失其重要性。

同样重要的是，确保您的robots.txt文件正常运行，不会阻止Google进入您要建立索引的网站的任何部分，并确保它声明了站点地图的位置。 实用的robots.txt文件非常重要，因为如果它们关闭，它可能会导致Google根据Ilyes完全停止对您的网站编制索引。

DYK，如果Googlebot由于服务器错误而无法访问robots.txt文件，它将完全停止抓取该网站吗？ pic.twitter.com/ExhB2Mu5rg

— Gary“鲸理” Illyes（@methode）2017年2月16日

最后，直观和逻辑的导航链接结构是良好索引的必要条件。 除了希望从站点上的至少一个链接访问希望被索引的每个页面这一事实之外，良好的UX习惯也是必不可少的。 分类对于此至关重要。

例如，交互设计基金会（Interaction Design Foundation）的乔治·米勒（George Miller）的研究表明，人脑一次只能在短期记忆中保存大约七块信息。

我建议您围绕这种限制设计导航结构，实际上，甚至可以将菜单限制为不超过五个类别，以使人们更容易使用。 每个菜单部分有五个类别，每个下拉菜单有五个子类别，可能更易于浏览。

以下是Google代表就导航和索引编制提出的一些重要观点：

• 如果隐藏的导航元素和选项卡最适合用户体验，则可以将它们包括在内。 在移动优先世界中，以这种方式隐藏元素不会损害索引。
• 使用面包屑导航，它们包含在PageRank计算中。
• Google网站管理员趋势分析师约翰·穆勒（John Mueller）表示，任何标准菜单样式（例如，大型菜单或下拉菜单）都可以，但是不良的URL结构会为单个页面生成过多的URL，这是一个问题。
• Gary Illyes还说过，您应该避免在自己的内容或内部链接上使用nofollow属性。
• Google员工已经多次声明内部链接锚文本是一个因素，因此请确保您的导航链接具有描述性和有用性，并避免关键字填充。
• 避免无限的空间或蜘蛛陷阱。 它们通常是在使用链接完成交互式站点功能时创建的。
• 在您的网站上运行搜寻器，以确定您最终是否会爬行比预期更多的页面，因为这可以帮助您识别会造成重复，无限空间和其他问题的导航链接。
• 从用户体验（UX）的角度来看，URL应尽可能靠近根。 加里·伊利耶斯（Gary Illyes）曾说过，离根远的页面将被较少地发现和发现。
• 确保通过移动设备可访问完整的网站导航，因为移动优先索引意味着这是Google用于索引您的网站的版本。

Bing建议以下内容：

• 避免会话变量和docID的富含关键字的URL。
• 高度功能性的站点结构，鼓励内部链接。
• 有组织的内容层次结构。

3.获取URL参数的句柄

URL参数是“无限空间”和重复内容的非常常见的原因，这严重限制了爬网预算并可能稀释信号。 它们是添加到您的URL结构中的变量，其中包含用于执行以下操作的服务器指令：

• 排序项目。
• 存储用户会话信息。
• 过滤项目。
• 自定义页面外观。
• 返回现场搜索结果。
• 跟踪广告系列或向Google Analytics（分析）发送信息信号。

如果使用“尖叫蛙”，则可以通过从“过滤器”下拉菜单中选择“参数”来在URI选项卡中标识URL参数。

检查正在使用的不同类型的URL参数。 应该使用noindex指令或规范化（并且绝不能同时使用）处理任何不会明显影响内容的URL参数，例如广告系列标签，排序，过滤和个性化。 稍后对此进行更多讨论。

Bing还提供了一个方便的工具，可以忽略Bing网站管理员工具的“配置我的网站”部分中的选定URL参数。

如果参数以创建不重复页面的方式对内容产生重大影响，则以下是Google关于正确实施的一些建议：

• 使用“？key = value&”格式的标准URL编码。 请勿使用非标准编码，例如方括号或逗号。
• 您应该使用参数而不是文件路径来列出对页面内容没有重大影响的值。
• 用户生成的对内容影响不大的值应放置在可以由robots.txt隐藏的过滤目录中，或者通过某种形式的无索引或规范化处理。
• 如果用户会话需要使用大量Cookie，则应使用Cookie而不是无关紧要的参数，以消除对网络搜寻器造成负担的内容重复。
• 不要为不会产生任何结果的用户过滤器生成参数，因此不会为空页面编制索引或对Web爬网程序征税。
• 仅当页面为搜索引擎生成新内容时才允许对其进行爬网。
• 不允许单击链接以查找没有产品的类别或过滤器。

4.过滤器的好坏

何时可以让搜索引擎抓取过滤器，何时不对其进行索引或规范化？ 我的经验法则受到Google上面建议的影响，是“好的”过滤器：

• 应该作为您产品类别的有意义的扩展，产生不同但稳定的页面。
• 应该有助于指定产品。

我认为这些已被索引或应该被索引。 我认为“错误”过滤器：

• 重新组织内容而不进行其他更改，例如按价格或受欢迎程度排序。
• 保留可更改布局或设计但不影响内容的用户首选项。

这些类型的过滤器不应建立索引，而应使用AJAX，noindex指令或规范化来解决。

Bing警告网站管理员使用AJAX pushState函数创建具有重复内容的URL，否则将达到目的。

5.正确使用noindex和规范化

Noindexing指示搜索引擎不对页面进行索引，而规范化则告诉搜索引擎两个或多个URL实际上是同一页面，但一个是“官方”规范页面。

对于重复项或近乎重复项，在大多数情况下，最好进行规范化，因为它可以保留SEO权限，但并非总是可能的。 在某些情况下，您不希望对该页面的任何版本建立索引，在这种情况下，不应使用noindex。

不要同时使用noindex和规范化。 约翰·穆勒（John Mueller）对此提出警告，因为它可能会告诉搜索引擎不要对规范页面和重复页面进行索引，尽管他说Google很有可能将规范标签视为错误。

以下是应规范的内容：

• 由分面导航和URL参数创建的重复项应规范化为页面的标准版本。
• 将分页内容规范化为合并的“查看全部”页面。
• 将所有A / B或多元拆分测试规范化为官方URL。

我建议不要索引以下内容：

• 任何会员区或员工登录页面。
• 任何购物车和谢谢页面。
• 内部搜索结果页面。 Illyes说过：“通常，它们对用户没有太大帮助，我们确实有一些算法试图摆脱它们……”
• 任何无法规范化的重复页面。
• 与其父类别相比不够独特的狭窄产品类别。
• 作为规范化的替代方法，Bing建议使用Bing网站管理员工具中的URL标准化功能。 这限制了必要的爬网量，并使您最新鲜的内容易于索引。

本文中表达的观点是来宾作者的观点，不一定是Search Engine Land。 工作人员作者在此处列出。