索引:站群试验技术以对HTML表单建立索引

爬网和索引编制小组成员Jayant Madhavan和Alon Halevy最近表示，站群已经索引在测试一些HTML表单，以查看他们html表单是否能够发现否则无法为用户找到或建立索引的网页。在此为HTML表单（包括下拉框和选择菜单）建立索引的实验中，站群比Deep Web更近了一步。

站群rs在他们的博客文章中指出了他们的过程：

如果您担心不希望将这些表格编入索引，则站群说，它们将遵守网站中包含的所有说明或工具，以防止搜索引擎抓取某些部分。此外，他们说，他们还将省略要求输入密码的表格，或者那些使用经常与个人信息相关的术语（例如登录名或用户ID）的表格。

对于这种新的增强的爬网方法将以常规网页为代价的担忧应该是没有根据的。站群说，这种方法不会影响网站抓取的一部分，该方法不会影响网页排名。这种新的抓取方法只是旨在增加搜索引擎在网络上的覆盖面。