[发明专利]爬取数据的方法、装置、介质及电子设备

权利要求书

1.一种爬取数据的方法，其特征在于，包括：

获取本次请求URL，根据所述本次请求URL进行数据爬取任务；

获取组装后续请求所需的配置数据，所述配置数据包括累加参数和累加数；

读取本次请求URL中包含的所述累加参数的参数值；

将所述参数值与所述累加数相加，得到累加后的参数值；

基于所述累加后的参数值，生成新的URL请求；

将所述新的URL请求放入待请求队列，从而依据所述待请求队列中的URL请求进行数据爬取任务。

2.根据权利要求1所述的方法，其特征在于，还包括：

获取停止条件；

循环执行上述方法步骤，直到判断出满足了所述停止条件。

3.根据权利要求2所述的方法，其特征在于，所述停止条件包括停止表达式、第二停止值以及停止比较方式。

4.根据权利要求3所述的方法，其特征在于，所述判断出满足了所述停止条件，包括：

基于停止表达式，对返回值数据进行解析，获得第一比较值，其中所述返回值数据是所述爬虫模块依据所述本次请求URL爬取相应页面的数据而获得的；

基于所述停止比较方式对第一比较值和第二停止值进行比较，当比较的结果为真时，判断出满足了停止条件。

5.根据权利要求1所述的方法，其特征在于，所述配置数据是由用户输入的。

6.根据权利要求2所述的方法，其特征在于，所述停止条件是由用户输入的。

7.一种爬取数据的装置，包括：请求获取模块，其配置为获取本次请求URL；爬虫模块，其配置为根据本次请求URL执行数据爬取任务，其特征在于，所述装置还包括：

配置数据获取模块，其配置为获取组装后续请求所需的配置数据，所述配置数据包括累加参数和累加数；

后续请求获取模块，其配置为读取本次请求URL中包含的所述累加参数的参数值；将所述参数值与所述累加数相加，得到累加后的参数值；基于所述累加后的参数值，生成新的URL请求；

待请求队列更新模块，其配置为将所述新的URL请求放入所述待请求队列，从而所述爬虫模块依据所述待请求队列中的URL请求执行所述数据爬取任务。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

停止条件获取模块，其配置为获取停止条件；

判断模块，其配置为判断所述停止条件是否满足，如果满足，则向所述爬虫模块发出停止执行所述爬虫任务的指令。

9.一种非临时性计算机可读介质，其上存储有计算机可执行代码，其特征在于，所述计算机可执行代码在被处理器执行时实现根据权利要求1～6中任一项所述的方法。

10.一种电子设备，包括处理器、存储器以及其上存储的计算机可执行代码，其特征在于，当所述处理器执行所述计算机可执行代码时实现如权利要求1～6中任一项所述的方法。