SEO工具行业应如何以及为何应制定技术标准

SEO技术空间可以从建立技术标准中受益匪浅。 Google自己的规范的实现在我们的工具中不一致，并且可能使经验不足的SEO相信他们的网站比他们的网站更好。

就像W3C在1994年围绕协议标准的定义以及在1998年Web标准项目（WaSP）标准化的编码惯例**一样，现在该轮到我们锁定软件并为接下来的工作做准备了。

如果你听过我的话就停下来。 12月4日，我收到了DeepCrawl的电子邮件，告诉我我的帐户没有信用。 不过，这没有任何意义，因为我的帐单周期刚好在几天前重新开始-坦率地说，自10月以来，我们并未真正使用该工具，如下面的屏幕快照所示。 我仍然应该有一百万个学分。

登录后，我想起了现在我更喜欢其他工具。 注意到On-Page.org和Botify等竞争对手在最近几个月取得的进步，我发现自己对当前的订阅感到恼火。

我仍然拥有帐户的唯一原因是因为历史客户数据已锁定在平台中。 当然，您可以导出各种.CSV，但是那又如何呢？ 没有简单的方法可以将我的历史数据从Deep Crawl移至On-Page或Botify。

那是因为SEO工具行业没有技术标准。 每个工具在抓取方式和内容以及如何存储和最终导出方式方面都有截然不同的方法。

作为SEO的从业者，我们要做的很多事情是在我们可以深入分析之前，将这些不同来源的数据标准化。 （也就是说，除非您掌握所有工具，这些工具都可以使您从表面上看到价值。）有人可能会反驳说，许多其他学科都要求您做同样的事情，例如市场研究，但是您会忽略这些事实都是不同的事实工具以不同的方式存储相同的数据。

至于在平台之间进行迁移，只有企业级提供程序（例如Searchmetrics，Linkdex，SEOClarity，Conductor和BrightEdge）具有可以在彼此之间进行迁移的系统。 但是，这仍然需要自定义数据导入才能实现。

Web标准的先例

每个行业都有设定标准的某种非营利性管理机构。 针对网络，我们有五个主要管理机构：

• 万维网联盟（W3C） -它们定义了开放的Web标准，并负责HTTP等协议以及HTML，CSS和JavaScript的标准化。
• 国际标准化组织（ISO） -尽管事实上他们似乎并不了解首字母缩略词的工作原理，但ISO已为Web的多个组件定义了七个规范。
• Unicode联盟—他们开发了Unicode的字符编码标准，以确保国际可计算性。
• Internet工程任务组（IETF） -他们定义了Internet协议套件的技术标准，此后从W3C接管了HTTP标准。
• 欧洲信息和通信系统标准化协会（ECMA） -他们定义了JavaScript的规范版本。 在ECMA出现之前，根据每种浏览器中的实现，有五个不同版本的JavaScript。

但是，没有以这种方式提供SEO软件的管理机构。 这意味着SEO工具本质上是营销技术的Internet Explorer，它决定了它们将支持和不支持哪些标准和功能-似乎有时不考虑更大的前景。 严酷，但事实如此。

如果深入研究某些工具，您会发现它们通常不会考虑Google已发布明确指南的情况。 因此，这些工具可能无法提供有关网站执行（或未执行）原因的完整信息。

例如，Google指定JavaScript适用于页面的移动版本和桌面版本之间的重定向，而没有SEO工具可以识别它。 同样，不管最近关于302与301的争论如何，同一规范都说您应该对这些类型的重定向使用302。 没有足够聪明的工具来确定返回302的页面是否应该返回302。尽管Google会根据HTTP标头做出决定，但对HTTP标头的审查也不一致。

那么，为什么没有技术标准？

通常，当一个组织或一组组织共同决定这些标准时，就会制定标准。 如果该标准最终被认为可行，并且软件公司在实施方面向前迈进，则用户倾向于使用该标准并对其钱包进行投票。

那么，是什么阻止了SEO工具行业聚集在一起并发布技术标准？ 一些东西…

• 专有优势。 SEO工具提供的大部分功能都来自Google创造的真空状态。 例如，Google从来没有给我们提供可靠的PageRank值，也没有提供确定网站是否为垃圾邮件的简便方法，因此Moz等公司已经开发了专有的域名授权和垃圾邮件评分指标。 同时，Majestic有自己的基于PageRank概念的推断指标，但是当您拥有一个被发现而没有一个被发现的链接时，如何将Citation Flow和TrustFlow与Moz的指标进行协调？ 就Moz而言，他们能够很好地植入自己的标志，因为域管理局取代了PageRank，这是人们用来确定链接价值的常用措施。 以我的经验，在讨论链接的价值时，很少有美国人谈论Majestic或Ahrefs的度量标准。 但是，这些措施的某些第三方标准化允许最终用户将页面权限（Moz）转换为引文流（Majestic）转换为URL Rating（Ahrefs），这将使所有数据更加有用。 现实情况是，围绕这些指标的思想共享确实是专有优势。 正如BrightEdge针对Searchmetrics提起的现代Edison vs.Tesla诉讼所表明的那样，其中一些公司似乎更关注那些专有优势，而不是提供最佳分析。
• 相对年轻的行业。 人们喜欢提及SEO的年龄还不够大，无法饮用。 但是，该行业并不比网络本身年轻得多。 确切地说，Google比SEO行业年轻，并且它已经开发了众多行业的标准。 很难接受这样的想法，即缺乏标准是行业青年的责任。
• 行业政治。 也许SEMPO可以做到这一点，但是该组织近年来试图为SEO行业建立道德准则，并引起了很多政治纷争。 我远不知道SEMPO的来龙去脉及其政治历史，但我怀疑任何一方都很难为Web标准植入旗帜。 代理商和品牌的结合可能需要聚在一起，并发挥其集体力量来实现这一目标。

有什么价值？

标准的建立有利于SEO社区以及我们工作的客户和网站。 工具提供者本身实际上没有任何好处，因为它将要求他们进行本来不在其路线图之内的更改（或出于任何其他原因而决定拒绝的技术更改）。 由于易于在平台之间移动，这也使他们失去了客户。

最终，SEO工具的技术标准的价值归结为更好的功能，更好的用户体验以及鼓励围绕创意功能的更多竞争。 但更具体地说，它在以下方面有帮助：

• 努力消除教育错误。 SEO行业受到教育不当的困扰，其中很大一部分是由于被动的过失而产生的，他们是为了跟上最新的趋势和变化而不是主动的无知。 我们将工具构建为快捷方式。 换句话说，我们将工具视为计算器，但有时它们会摆在不了解基本数学知识的人们面前。 标准的实施将有助于确保推动这些SEO保持最新状态，或者至少确保其分析更准确。
• 数据可移植性。 大多数软件都具备从一种工具转到另一种工具的能力。 从浏览器到电子邮件，再到CRM，再到市场营销自动化平台，甚至包括Google本身，用户通常都可以完整地下载其数据，将其上传到另一个工具中并立即使用。 尽管我们空间中的每个工具对于事物的识别和分析方法都有不同的解释，但它们都使用相同的输入来创建这些输出，因此，只要有适当的标准，就不难采取行动。
• 跟上Google的功能。 Google网站管理员文档中指定了许多未遵循或未实现的SEO软件建议。
• 最低功能要求。 虽然每个工具提供者都有其自己的功能子集，原因是多种多样的，但其中有些功能并没有用户期望的最低要求。 例如，您希望任何关键字研究工具都能够为您提供基于关键字的搜索量和历史搜索量趋势。 您还希望该工具具有可扩展您的分析的API。 为工具类型建立最低功能要求将确保您使用的任何工具至少可以实现相同的目标。 这正是Google为AdWords API所做的事情，以及为什么要对使用该API的SEO软件进行严厉打击，因为它们没有实现管理AdWords广告系列所需的最低功能。

需要标准化什么？

那么标准化过程从哪里开始呢？ 为了使SEO工具满足这些需求，哪些平台之间需要保持一致？ 当然，这需要辩论，但这是我的建议：

1.链接指标

理想情况下，应该对空间中所有不同的链接度量如何相互转换有一个共识。 这里的技术难题有两个方面。

首先，每个提供者都使用了自己的估计，这些估计随后与原始的PageRank算法不同，它们是自己的专有公式，这些公式不是公开的。 第二，它们每个都爬网的不同部分。

如果所有链接提供者都对“公共爬网”进行爬网并公开结果数据，则第一个问题变得无关紧要。

常见抓取的首页

Common Crawl是一个公共档案，其最新版本具有17.2亿页。 任何人都可以下载和处理它，作为网络分析的一种手段。 （过去，我曾领导过一些项目，其中我们使用“常见爬网”作为语料库来提取影响者数据并确定断开的链接机会。但是我离题了。）

如果Moz，Majestic和Ahrefs公开处理了Common Crawl，则它们都可以提供彼此的度量标准，或者更现实的是，用户可以将Ahrefs和Majestic度量标准本身转换为更广泛理解的Moz度量标准。

一个警告是Moz现在向Common Crawl提供了种子URL列表，我不清楚这是否可能对研究产生偏见。 我怀疑不是，因为在这种情况下，所有链接索引都将仅限于爬网公共爬网URL。

尽管这种开放链接度量标准的想法可能是一个空想，但更现实和更有价值的是建立所有链接索引都必须提供的一组新的与提供商无关的度量标准。

当然，它们都为我们提供了链接根域的数量和链接的总数，但是在对所有链接进行重复数据删除之后，可以将所有数据集联系在一起的新质量衡量标准将使集体数据无限可用。

2.爬行能力

Google的检索功能已经走了很长一段路。 据我所知，除了Screaming Frog之外，所有SEO工具仍会像往常一样爬行。 所有SEO工具都基于下载HTML而不渲染页面来执行分析。

到那时，当Google可以呈现整个页面并基于初始JavaScript转换做出决策时，很难相信您的SEO工具在报告什么。

根据**规范，将需要使用爬网工具为您提供爬网方式的选项，而不是仅让您指定用户代理。

在底层，除了文本驱动的爬网程序之外，这些爬网工具还需要使用Headless Chromium或headless QTWebkit（PhantomJS），目的是更紧密地模仿Google的体验。

3.抓取数据

无论爬网提供了什么，都应该指定一个标准，即所有爬网提供程序都以标准顺序传递列。 它们都应以相同的格式（可能称为.CDF文件）导出。 这将为这些出口中需要包含的内容和顺序定义最低要求。

但是，我们不想限制工具提供者提供更多内容的能力，因此导出文件确实可以包含其他数据列。 而是，将需要所有工具才能导入到特定列。

4.排名

我个人认为，我们需要重新考虑行业排名。 排名报告的是真正不存在的上下文，并且忽略了特定的用户上下文。 搜索的未来越来越多地涉及那些特定的用户上下文以及它们如何显着影响结果。

实际上，我建议排名应该是开放的，并且所有人都可以免费获得。 由于Google不会提供此功能，因此要实现这一目标取决于一群人。

我们都是通过夸大搜索量的方法来窃取Google的排名; 每个工具都有自己的方法。 相反，如果有一个集中的数据存储，其中每个人都可以通过分布式方式或复杂的僵尸网络来获取排名，从而每个人都可以访问它，从而允许任何人访问完整的SERP数据，那该怎么办？ 这样，工具提供者将面临提供增强功能以​​使数据更有价值的挑战。

STAT过去曾提供过一个法典，可以对超过200,000个关键字进行免费排名。 我相信这是朝着我的理想朝正确方向迈出的一大步。 我也相信STAT是可以增强数据并允许您进一步自定义这些增强功能的公司的一个很好的例子。

STAT接口[点击放大]

尽管如此，我还是很乐意看到所有提供商都提供的用于跟踪排名的最低规范：

• 粒度地理位置。 许多排名工具可让您定位到特定城市或邮政编码。 Google Chrome的Geolocation Emulator可让您指定位置（低至纬度和经度坐标），而排名则针对此特性。
• 特定的移动环境。 最低规格应不仅仅是选择“智能手机”，还应包括选择不同浏览器和手机型号的能力。 例如，iPhone 6上的Safari排名与Android上的Chrome排名比较。
• 完整的SERP测量。 此时，仅测量搜索结果页面（SERP）的有机组成部分会产生误导。 至少，应该对付费广告和自然搜索之间的相互作用进行某种程度的衡量，以及不影响自然搜索排名的各种SERP功能（例如，新闻结果，本地包，精选摘要）。 此外，将点击率数据从Google Search Console提取到此内容中，可为您提供有关操作方式的更多实用信息。
• 分割。 随着Google和SEO都朝着聚集关键字的方向发展，能够在排名系统中细分关键字具有很大的价值。 对此的支持应该是普遍的; 用户应该能够上传特定的CSV格式，以便于进行细分，并且理想情况下，该工具会根据标准化分类法建议分组。 Google的分类法在这里可能效果很好。

5.内容分析

尽管Google早在几年前就从字符串转移到了事物，但仍然有人通过关键字密度和H1标签定位的角度来检查搜索。 Google宣布实体分析是他们开始了解查询的地方。

下图说明了他们如何实现这一目标。 在该示例中，他们打破了以下查询：“当天使队赢得世界大赛时，谁是美国总统？” 加入实体美国总统，天使和世界大联盟，然后系统地提高他们对概念的理解，直到他们可以联系他们的关系并解决问题。

SEO工具在用于内容分析的复杂程度上并不一致。 NLP，TF * IDF和LDA工具已经取代了关键字密度的概念，但是大多数爬网工具在检查页面时并未权衡这些方法。

爬网工具的最低要求应该是提取实体并计算主题建模得分。 在TF * IDF情况下，发生这种情况的主要障碍是排名的可用性，因为计算需要审查其他排名文件，但是公开排名计划可以支持这项工作。

让我们从草稿开始

自然，这些是我的观点，换句话说，本文可能被误解为我对SEO工具行业的功能要求列表。 那正是不应该的。

相反，这应该是一项协作工作，以空间中最优秀，最聪明的人才为基础，以建立一个标准，该标准随着现代SEO的需求和搜索引擎不断变化的功能而增长。

工具提供者可以聚集在一起来开发标准，就像搜索引擎聚集在一起来开发Schema.org一样。 但是，工具提供者缺乏价值使得这种情况不太可能发生。 也许一组机构或搜索行业媒体可以团结起来，实现这一目标。 这些人比较客观，对这些公司本身没有既得利益。

或者有人可以开始做，看看谁最终做出了贡献。

综上所述，我已经创建了一个名为Gateway Specification的草案，其格式类似于GitHub上的W3C HTML规范。 尽管选择Git来管理它存在一些障碍，但我认为这是开始的更好方法。 这种规范需要深入讨论，而GitHub提供了这样做的便利。

要参与进来，您需要派生存储库，对文档进行任何编辑或添加，然后提交请求请求。 这里概述了所有这些步骤。 请提交拉取请求，让我们开始标准派对！

本文中表达的观点是来宾作者的观点，不一定是Search Engine Land。 工作人员作者在此处列出。