[站群模式]robots文件的相关知识点您了解多少呢?
站群模式-文件
网站优化的时候,优化师会为网站添加上robots文件,robots文件是做什么用的?robots文件是告诉搜索引擎蜘蛛这个地址是网站地图,如果我们有网站隐私文件要屏蔽搜索引擎蜘蛛不让其抓取时,可以在robots.txt中写上路径地址,并且我们可以在robots文件中添加Sitemap网址,帮助网站的抓取机会。
robots文件示例:
User群力地铁站-agent: *
Disallow: /bin/
站群模式-robots
Sitemap: https://www.zhongtao.net/sitemap.xml
有页面不想被搜索引擎收录我们可以是用robots meta标签来解决,robots站群模式.txt文件主要是限制整个站点或者目录的蜘蛛访问,而robots meta标签则主要是针对某个具体的页面,此标签放在页面中,专门用来告诉搜索引擎蜘蛛如何抓取该页的内容。
我们接下来看看robots meta标签有几种使用方式:
1.在content部分robots meta标签有4个指令选项,分别是:index、follow、noindex、nofollow。
站群模式-多少
follow 指令表示搜索引擎蜘蛛可以爬行该页面上的链接。
notollow 指令与 follow指令相反,表示搜索引擎蜘蛛不可以爬行该页面上的链接。
index 指令告诉搜索引擎蜘蛛可以抓取该页面。
noindex 指令与index指令相反,表示搜索引擎蜘蛛不可以抓取该页面。
站群模式-相关
2. robots meta标签中,name="robots"表示所有的搜索引擎,也可以针对某个具体的搜索引擎。
本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。如若转载,请注明出处:http://www.botadmin.cn/sylc/9580.html