[发明专利]页面爬取方法、装置、介质及电子设备

权利要求书

1.一种页面爬取方法，其特征在于，所述方法包括：

分别对深度优先遍历次数和广度优先遍历次数进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数；

迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取；

其中，所述爬取步骤包括：

从起始网站开始，按照当前深度优先遍历次数从深度方向爬取所述起始网站在链接路径上的多层级网站的页面，并在每次爬取属于所述多层级网站的其中一层级的目标网站的页面时，按照当前广度优先遍历次数分别爬取链接了所述目标网站的页面所链接的同一层级的多个网站的页面；

所述次数更新步骤包括：

根据最近一次所述爬取步骤中爬取到的页面中的资源，调整所述当前深度优先遍历次数和所述当前广度优先遍历次数。

2.根据权利要求1所述的方法，其特征在于，所述分别对深度优先遍历次数和广度优先遍历次数进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数，包括：

爬取起始网站的所链接的各网站中页面的资源；

根据爬取到各网站中页面的资源数量，对深度优先遍历次数和广度优先遍历次数进行初始化操作，得到当前深度优先遍历次数和当前广度优先遍历次数。

3.根据权利要求1所述的方法，其特征在于，所述根据最近一次所述爬取步骤中爬取到的页面中的资源，调整所述当前深度优先遍历次数和所述当前广度优先遍历次数，包括：

根据最近一次所述爬取步骤中爬取到的页面中的资源，按照如下公式调整所述当前深度优先遍历次数和所述当前广度优先遍历次数：

其中，i为根据爬取到的页面中的资源所计算出的参数，D′为当前深度优先遍历次数，W′为当前广度优先遍历次数，R_d为最近一次爬取步骤中通过深度优先方式爬取到的页面中的资源的数量，R_W为最近一次爬取步骤中通过广度优先方式爬取到的页面中的资源的数量，D为调整后的当前深度优先遍历次数，W为调整后的当前广度优先遍历次数。

4.根据权利要求1所述的方法，其特征在于，所述迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取，包括：

每当执行完预定数目次爬取步骤，执行一次所述次数更新步骤。

5.根据权利要求1所述的方法，其特征在于，所述迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取，包括：

每当执行一次爬取步骤，判断该次爬取步骤中爬取到的页面中的资源是否满足预定条件；

根据判断结果执行次数更新步骤，并在执行完所述次数更新步骤之后再次执行所述爬取步骤。

6.根据权利要求1所述的方法，其特征在于，所述迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取，包括：

每当执行一次爬取步骤，判断该次爬取步骤中爬取到的页面中的资源是否满足预定条件；

若满足预定条件，则根据第一概率确定是否执行次数更新步骤，否则，根据第二概率确定是否执行次数更新步骤，其中，所述第一概率大于所述第二概率。

7.根据权利要求1所述的方法，其特征在于，所述迭代执行爬取步骤和次数更新步骤，以对多个页面中的资源进行爬取，包括：

如果在本次执行爬取步骤时通过深度优先方式爬取到的各页面中资源的平均数量小于上次执行爬取步骤时通过深度优先方式爬取到的各页面中资源的平均数量，并且，在本次执行爬取步骤时通过广度优先方式爬取到的各页面中资源的平均数量小于上次执行爬取步骤时通过广度优先方式爬取到的各页面中资源的平均数量，则执行次数更新步骤。