语言翻译:如何轻松分析和翻译任何robots.txt文件

我已经对各种Robots.txt检查器和验证器发表了自己的看法：请注意它们，但请谨慎使用。他们到处都是错误和误解。

但是前一天，我碰巧遇到了一个非常好的产品：robots.txt检查器。我发现首先将其用于自我教育很有用。

该工具允许运行常规检查和特定于用户代理的分析：

轻松翻译Robots.txt文件

该工具很好地完成了以易于理解的语言翻译语言“翻译” Robots.txt文件的工作。

这是说明默认的Robots.txt文件的示例：

该工具还善于根据用户代理将Robots.txt文件分成几部分来组织它：

注意警告

该工具会向您发出一些基本问题的警告，例如，搜索引擎可能会在Disallow指令中对待通配符的方式：

总而言之自我分析，我发现该工具很基本，但仍然足够有用，建议您将其用于学习Robots.txt语法的人，以使其更容易数据组织。