如何识别搜索引擎优化机器人

搜索引擎发送搜索机器人访问和索引网站内容。默认情况下，网站管理员也欢迎他们机器人。
访问。但是，由于来自搜索引擎的机器人在一定程度上影响网站性能，因此并非所有机器都是无害的。一些非法机器人伪装成主流的搜索引擎漫游设备，这些设备大量遍历网站并且不遵循robots.txt规范严重损害网站性能而没有其他好处。因此搜索引擎，网站管理员需要验证每台机器
是法人的身份。
在您的服务器日志文件中，您可以看到每个访问的路径和IP地址，
用户代理将显示Google bot，MSNBot和其他搜索引擎的名称。每个搜索引擎都有自己的
用户代理，但这不足以证明机器人的合法性，因为许多Spammer可能
他们的机器人也被称为Googlebot。他们伪装进入网站并努力提取内容。
目前，主流搜索引擎建议网站管理员以这种方式识别真实机器人：
DNS反向查询以查找与搜索引擎相对应的主机名机器人IP地址;使用主机名查找IP地址以确认主机
主机名与IP地址匹配。
首先，使用DNS查找查找与机器人IP地址相对应的主机名。
主机主流搜索引擎的名称通常如下：
Google：主机名应包含在googlebot.com域名，例如：
爬行-66-249-66-1。googlebot.com;
MSN：用户名应包含在域名中search.live.com，例如：

Livebot-207-46-98-149。search.live.com;
Yahoo：主机名应包含在inktomisearch.com域名，例如ab1164。inktomisearch.com。
最后，执行DNS查询并使用主机名查找IP地址（转发DNS查找）确认主机。
名称与IP地址匹配。这证明机器人是合法的。
现在，如果你发现机器人伪装成合法的搜索引擎漫游机器人，你可以通过服务器
阻止这个非法机器人。