bot Bot Herding：PageRank流程的终极工具

SEO中的一条重要规则是，当搜索引擎蜘蛛和漫游器访问您的网站时，您不能完全依赖它们。他们（机器人）可能会产生重复的内容问题，将重要页面视为垃圾内容，或导致其他实际上不存在的问题。

过去，站群机器人曾错误地将有价值的页面移至站群补充索引中，或者已将PageRank传递给不需要排名的页面，即登录，注册，订阅等。

因此，如果您想避免此类问题，有必要指导这些机器人。但是如何指导他们呢？

noindex HTML meta标签建议搜索引擎的漫游器不要为网页编制索引。另一方面，nofollow元标记建议搜索引擎机器人不要通过到链接页面的特定链接来传递排名。 nofollow元标记的作用与rel =“ nofollow”相同，但在页面级别，而不是在每个链接级别。以上方法是最终的PageRank雕刻解决方案吗？

让我们看一下以下情况：页面A链接到页面B，并且该链接被归为nofollow状态。在这种情况下，页面A不会将PageRank传递给页面B，对吗？但是，如果页面B是从您网站的另一个页面或外部网站链接而没有用nofollow属性保护的链接，那该怎么办？不会将PageRank分配到B页吗？搜索结果中不会显示摘要吗？它会！那是你要的吗？您是否不想确保将页面B的传入PageRank传递到您网站上最重要的网页？对您最赚钱的bot产品或服务页面进行排名会更好吗？如果您的回答是肯定的，请继续阅读以了解如何实现。

许多网站管理员或SEO可能建议也禁止页面B是robots.txt，例如使用以下代码：

用户代理： *

不允许：bot/login.php

但这能解决问题吗？不总是。就像我在上面说的那样，如果网页B是从外部站点链接的，则不受nofollow a的保护ttribute, PageRank will still be assigned to it, and it can still show up in the search results. But there is a way, in 站群, to overcome this problem.

You can use one of the following methods to overcome the problem:

a. Adding to page B the noindex HTML tag like this:

or

b. Adding in your robots.txt the noindex directive using this:

User-agent: 站群bot

Noindex: /login.php

Did I say Noindex robots.txt directive? Yes! Unofficially 站群 supports the Noindex robots.txt directive, but at this moment it is not supported by other search engines. Using this directive you can block or advise 站群bot not to index a page (or de-index a page if previously indexed). But it will not hinder 站群bot to follow the links on page B and pass the incoming PageRank to the outgoing linked pages which are not protected.

But that is not all!

You SHOULD NOT use the nofollow HTML meta tag on Page B, because that will make Page B a dead end. And links pointing to死胡同页面称为悬空链接。

现在您可能会问：悬挂链接是否有问题？

下列答案可以在以下站点摘录中找到：

“悬挂链接只是指向任何页面的链接，没有向外链接。它们影响模型，因为尚不清楚应将其权重分配在何处，并且存在很多。这些悬空链接通常只是我们尚未下载的简单页面...因为悬空链接不会直接影响任何其他页面的排名，所以我们只需将它们从系统中删除，直到计算出所有PageRank。在计算完所有PageRank后，可以将它们重新添加而不会显着影响事物。”

也就是说，您仍然可以在页面B的传出链接上添加nofollow属性，但是必须确保至少可以跟随一个链接。

通过实施上述技术，您可以实现最大可能的协调ntrol over the PageRank flow within your web site.

Disclaimer: I said maximum possible control, but not 100% control. If you have an alternative idea and you don’t mind sharing, please feel free to do so .

John S. Britsios (aka Webnauts) is the Founder & CEO at SeoWorkers.com & Webnauts.net, a Web Architect & Senior SEO Consultant, specializing in Web Content Accessibility, U****lity Testing, Search Engine / Social Media Optimization & Marketing.