我看到一些常见的虫**出。一个错误的想法，索引页面，你应该阻止爬行路径。有意义的，对？如果你不想要页面索引，你为什么要爬行？不幸的是，这听起来合乎逻辑且完全错误。让's举个例子...