[发明专利]数据获取方法、装置、计算机设备以及存储介质

权利要求书

1.一种数据获取方法，所述方法包括：

获取数据爬取任务，查找所述数据爬取任务对应的配置站点；

获取各预设爬虫系统在所述配置站点中对应的爬取能力值，根据所述爬取能力值选取能力值最高的第一预设爬虫系统；

调用所述第一预设爬虫系统在所述配置站点执行所述数据爬取任务；

当执行所述数据爬取任务出现卡顿事件时，根据所述爬取能力值选取能力值次高的第二预设爬虫系统执行所述数据爬取任务；

归集所述第一预设爬虫系统的爬取结果以及所述第二预设爬虫系统的爬取结果，获取数据爬取任务对应的目标数据。

2.根据权利要求1所述的方法，其特征在于，所述获取各预设爬虫系统在所述配置站点中对应的爬取能力值，根据所述爬取能力值选取所述数据爬取任务对应能力值最高的第一预设爬虫系统之前，还包括：

调用各预设爬虫系统执行各配置站点对应的测试爬取任务；

当所述测试爬取任务完成时，获取各预设爬虫系统对所述测试爬取任务的爬取耗时以及爬取成功率；

根据所述各预设爬虫系统对所述测试爬取任务的爬取耗时以及爬取成功率，获取所述各预设爬虫系统与各配置站点对应的爬取能力值。

3.根据权利要求1所述的方法，其特征在于，所述当执行所述数据爬取任务出现卡顿事件时，根据所述爬取能力值选取能力值次高的第二预设爬虫系统执行所述数据爬取任务包括：

当执行所述数据爬取任务出现卡顿事件时，根据所述爬取能力值选取能力值次高的第二预设爬虫系统；

获取所述第一预设爬虫系统在所述数据爬取任务的卡顿节点页面，根据所述卡顿节点页面更新所述数据爬取任务，所述更新后的数据爬取任务的爬取范围为所述卡顿节点页面至原数据爬取任务对应爬取终点页面；

通过所述第二预设爬虫系统在所述配置站点执行所述更新后的数据爬取任务。

4.根据权利要求1所述的方法，其特征在于，还包括：

获取所述第一预设爬虫系统对所述数据爬取任务的爬取进度、剩余页面数以及进度停顿时间；

当所述爬取进度高于预设卡顿进度阈值、且所述剩余页面数低于预设卡顿页面数阈值、且所述进度停顿时间高于预设卡顿阈值时间时，判断所执行所述数据爬取任务出现卡顿事件。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取所述第一预设爬虫系统对所述数据爬取任务的进度停顿时间；

当所述进度停顿时间高于预设任务配置时间时，判断执行所述数据爬取任务出现卡顿事件。

6.根据权利要求1所述的方法，其特征在于，所述汇总所述第一预设爬虫系统的爬取结果以及所述第二预设爬虫系统的爬取结果，获取数据爬取任务对应的目标数据之后，还包括：

当所述第一预设爬虫系统完成数据爬取任务时，发送任务终止指令至所述第二预设爬虫系统，控制所述所述第二预设爬虫系统终止当前数据爬取任务；

当所述第二预设爬虫系统完成数据爬取任务时，发送任务终止指令至所述第一预设爬虫系统，控制所述所述第一预设爬虫系统终止当前数据爬取任务。

7.根据权利要求1所述的方法，其特征在于，所述归集所述第一预设爬虫系统的爬取结果以及所述第二预设爬虫系统的爬取结果，获取数据爬取任务对应的目标数据之后，包括：

获取所述第一预设爬虫系统以及所述第二预设爬虫系统对所述数据爬取任务的爬取耗时与爬取成功率；

根据所述爬取耗时与爬取成功率，分别更新所述第一预设爬虫系统与所述第二预设爬虫系统对应的配置站点的爬取能力值。