索引_疯狂的SEO：阻止Robots.txt被编入索引

WebmasterWorld上正在讨论一个有趣的话题，讨论一种防止站群在SERP中对Robots.txt文件进行排名的方法。

站群目前为62,100个robots.txt文件编制了索引。他们中的许多人拥有良好的seo排名PR，而其他人则根本没有反向链接（至少根据Yahoo Site Explorer）：

具有讽刺意味的是：

您不能使用robots.txt阻止robots.txt（这确实很疯狂，因为在这种情况下，搜索引擎将无法抓取robots.txt文件，从而发现它无法做到这一点）;

您无法在robots.txt文件中使用元标记;

您无法使用站群网站站长工具删除该文件，因为为此，您要么需要在robots.txt中阻止该文件，要么使用meta标签（您无法执行此操作）或返回404标头，这也是不可能的（因为它确实存在） ）。

根据论坛成员的说法：

有趣，不是吗？

另一位董事会成员建议在HTTP标头中使用X-Robots-Tag：

该解决方案看起来不错，也很高兴SEO终于看到了价值在模糊使用的X-Robots-Tag中。

另一个问题是，为什么在地球上您需要阻止robots索引.txt文件被索引和排名（一种更简单的解决方案是将其完全删除）。但这在这种情况下根本不重要。事实是一样的：网站管理员应该拥有并且知道如何从搜索搜寻器中隐藏其任何页面或阻止其出现在SERP中。