[发明专利]页面爬取方法、装置、介质及电子设备

说明书

本公开涉及人工智能和爬虫领域，揭示了一种页面爬取方法、装置、介质及电子设备。该方法包括：进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；迭代执行爬取步骤和次数更新步骤，对多个页面中的资源进行爬取；爬取步骤包括：从起始网站开始，按照当前深度优先遍历次数从深度方向爬取起始网站在链接路径上的多层级网站的页面，并在每次爬取属于其中一层级的目标网站的页面时，按照当前广度优先遍历次数分别爬取链接了目标网站的页面所链接的同一层级的多个网站的页面；次数更新步骤包括：根据最近一次爬取步骤中爬取到的页面中的资源，调整当前深度优先遍历次数和当前广度优先遍历次数。此方法能够高效准确地爬取所需信息。

技术领域

本公开涉及人工智能和爬虫技术领域，特别涉及一种页面爬取方法、装置、介质及电子设备。

背景技术

网络爬虫Web Spider又叫Web Crawler或者Robot，是一个沿着链接漫游web文档集合的程序。它一般驻留在服务器上，并且利用标准的http协议根据超链接和web文档检索的方法遍历整个Intemet网信息进行搜索。

现有的网络爬虫大都是根据深度优先搜索或广度优先搜索方法进行Web文档的爬取的。

深度优先搜索(Depth—nrstSearch)，其设计思路是尽量“深”入地搜索信息资源。在深度优先搜索中，针对最新发现的网页源顶点p，如果它还有以此为起点而尚未搜索到的路径，则沿此路径继续搜索下去。反之，如果当顶点P的所有路径均己被搜索过，则回溯到初始点。但是深度优先策略不足之处是，深度优先策略在很多情况下会导致网络爬虫的陷入问题(trapped)，导致盲目搜索。

宽度优先搜索(Breadth—FirstSearch)是一种简便常用的搜索算法(又称广度优先搜索)。这一算法也是其他很多重要算法之原型，其主要用来解决最优解问题。其基本思想是：从起始网页源顶点P开始，沿着树的宽度遍历树的每一个节点，获取相关所有链接网页，进而再沿这些节点继续抓取该网页中的所有链接页面，最终遍历所有顶点。但该算法的设计和实现相对简单，属于盲目搜索，因而效率较低。换句话说，它并不考虑结果的可能位置，彻底地搜索整张图，直到找到结果为止。为尽可能覆盖较多网页，宽度优先搜索方法是较好的选择。

然而，深度优先会浪费资源盲目搜索，忽略很多重要的信息；广度优先的策略由于要遍历所有节点，所以效率很低。

发明内容

在人工智能和爬虫技术领域，为了解决现有技术中进行页面爬取时，深度优先搜索方法忽略重要信息太多而广度优先搜索方式效率很低的的技术问题，本公开的目的在于提供一种页面爬取方法、装置、介质及电子设备。

根据本公开的一方面，提供了一种页面爬取方法，所述方法包括：

分别对深度优先遍历次数和广度优先遍历次数进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；

迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取；

其中，所述爬取步骤包括：

从起始网站开始，按照当前深度优先遍历次数从深度方向爬取所述起始网站在链接路径上的多层级网站的页面，并在每次爬取属于所述多层级网站的其中一层级的目标网站的页面时，按照当前广度优先遍历次数分别爬取链接了所述目标网站的页面所链接的同一层级的多个网站的页面；

所述次数更新步骤包括：

根据最近一次所述爬取步骤中爬取到的页面中的资源，调整所述当前深度优先遍历次数和所述当前广度优先遍历次数。

根据本公开的另一方面，提供了一种页面爬取装置，所述装置包括：

初始化模块，被配置为分别对深度优先遍历次数和广度优先遍历次数进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；