「机器人」减轻不必要的工作

对于那些怀疑自己的网站值得更频繁地访问机器人的人，我已经研究了提高爬网速度的方法。但是，我不时遇到论坛论坛帖子，网站管理员抱怨说，站群（bot）的机器人在其页面上似乎过于活跃，吃掉了很多女巫。

因此，我在这里列出了这些投诉的链接以及可能有助于处理这种情况的可能解决方案：

验证站群机器人–确保确实对您的网站感兴趣的站群。

通过站群网站站长工具更改站群机器人的爬网速度（“幸运儿”只有少数幸运者可以使用“较高比率”选项，任何人都可以设置“较低比率”）;

确保站群机器人没有抓取任何额外的URL，即重复的URL，包含会话ID的URL或其他不需要为索引编制的（多个）参数：

一组项目的加性过滤;

排序参数;等等。

确保您的页面上没有太多的唯一URL，从而使漫游器过于忙碌：最受欢迎和最广为人知的标准机器人是链接数不超过100每页s（当然，这不是必须的，站群可以应付更多–只需保持合理的数量即可）;

确保站群机器人没有忙于抓取大图像或PDF –即，注意文件的大小和页面的整体加载时间机器人。