您是否曾想过，百度如何知道您搜索时显示的所有网站？它是一台机器，所以它并非无所不知。因此，它必须有一种方法来收集有关互联网上网站的信息，否则，它又如何在搜索结果中向您显示它们呢？这实际上是一个相当有趣的过程，我们将向您一一介绍。这一切都是由称为网络爬虫的软件应用程序（机器人）完成的。它们之所以被称为爬虫，是因为它们像蜘蛛一样爬遍了整个万维网！ 正如其名称所示，这些网络爬虫的作用是：爬取互联网以编制索引。这样做是为了了解每个在线页面的内容，以便将其显示在相关的搜索结果中。搜索引擎几乎总是运行这样的爬虫，每天访问无数网站。爬取是完全自动化的，因为您可以想象，在线页面太多，人们无法手动分配它们。话虽… 阅读全文什么是网络爬虫以及它有何益处？