MSN搜索因热情的RSS新闻Bot变慢

MSN搜索因热情的RSS新闻Bot变慢

在《搜索引擎期刊》上，我们最近注意到带宽出现了一些怪异的增长，也许MSN Search的这一新公告与此有关。 MSN似乎一直活跃在各种新闻站点和博客中的RSS文件的搜寻中。显然，根据Search Engine Watch和Jeremy Zawondy的说法，MSN正在测试一个博客和RSS搜索机器人，该机器人已经“有点活跃”。

RSS的阴暗面是，一旦站点通过聚合器，站点和新闻bot经历了基于RSS的高级别合并，站点带宽就成为一个主要问题。 RSS提要传播得越多，使用的带宽就越多。如果站点不知道或不准备进行如此高的使用率和带宽的高传输，则该站点可能会超出其托管限制或加载缓慢。

MSN因其过于焦虑的RSS和博客机器人而受到批评，并使其速度有所放慢。来自MSN Search博客：“我们正在抓取RSS和其他内容我们希望确保索引中的内容始终是新鲜的。在这一点上，我们只rss是在做实验，足以说在简短的实验中我们学到了很多东西。我们对爬网的热情比我们想要的要热心一点，我们将解决这个问题。”

Danny Sullivan指出，MSNBot确实有放慢速度的说明：

MSNBot爬网您的站点时，通常不会尝试每隔几秒钟访问一次您的bot站点。如果MSNBot确定您的站点连接速度很慢，它将自动调整频率。要指定最小频率（以秒为单位），请使用robots.txt文件中的抓取延迟参数：

用户代理：msnbot

抓取延迟：120