搜索引擎优化的语义解释robots.txt
作者:站群原创• 更新时间：2021-04-08 12:12:42 •阅读:110
1. robots是一个必须放置在网站根目录下的文件，告诉蜘蛛目录可以爬行，那些不能爬行的文件。全名是"robots.txt".
2. 如何编写机器人：
①禁止所有se对象捕获目录：
用户代理台州seo：*disallow:/directory 1/disallow:/directory 2/disallow:/directory 3/
②禁止搜索引擎捕获网站：
用户代理：baiduspider
不允许：/
③直接指定网站地图：
Sitemap:http://domain/MapSite。xml
继续…………
本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。如若转载，请注明出处:http://www.botadmin.cn/sylc/1898.html