[发明专利]一种数据爬取频率的调整方法及装置、存储介质和处理器

权利要求书

1.一种数据爬取频率的调整方法，其特征在于，包括：

通过爬虫平台对多个信源以第一爬取频率进行数据爬取；

对每个信源根据爬取到的数据量进行排序；

基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率；

其中，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率包括：

确定排序后每个信源所处的位置次序所处的位置范围，其中，所述位置范围是将信源爬取到的数据量排序后得到的位置次序按照预设规则分组后得到的，不同的位置范围对应调整信源的数据爬取的爬取频率不同；

基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率；

确定排序后每个信源所处的位置次序所处的位置范围，基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率包括：

若目标信源所处的位置次序所处的位置范围为第一位置范围，调整对所述目标信源的爬取频率为第三爬取频率，其中，所述第三爬取频率小于所述第一爬取频率；

若目标信源所处的位置次序所处的位置范围为第二位置范围，调整对所述目标信源的爬取频率为第四爬取频率，其中，所述第四爬取频率小于所述第一爬取频率且所述第四爬取频率大于所述第三爬取频率，其中，所述第二位置范围内的位置次序的最小值大于所述第一位置范围内的位置次序的最大值；

若目标信源所处的位置次序所处的位置范围为第三位置范围，调整对所述目标信源的爬取频率为第五爬取频率，其中，所述第五爬取频率小于所述第一爬取频率且所述第五爬取频率大于所述第四爬取频率，其中，所述第三位置范围内的位置次序的最小值大于所述第二位置范围内的位置次序的最大值；

若目标信源所处的位置次序所处的位置范围为第四位置范围，调整对所述目标信源的爬取频率为第六爬取频率，其中，所述第六爬取频率大于所述第一爬取频率，且所述第六爬取频率大于所述第三爬取频率，其中，所述第四位置范围内的位置次序的最小值大于所述第三位置范围内的位置次序的最大值。

2.根据权利要求1所述的方法，其特征在于，

通过爬虫平台对多个信源以第一爬取频率进行数据爬取之后，所述方法还包括：将对每个信源爬取到的数据信息存入数据库平台层；和/或，

基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率之前，所述方法还包括：

对每个信源爬取到的数据量进行抽取，将抽取出的数据存入数据库垂直层；

计算每个信源在所述数据库垂直层中存储的数据量与在所述数据库平台层存储的数据量的比率；

若每个信源的所述比率大于等于预设比率，则执行基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率的步骤。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若存在所述比率小于所述预设比率的目标信源，则判断所述目标信源是否在预先设置的信源库中；

若所述目标信源在所述信源库中，则调整对所述目标信源的爬取频率为第二爬取频率，其中，所述第二爬取频率小于所述第一爬取频率；

若所述目标信源不在所述信源库中，则触发提醒是否需要继续对所述目标信源进行数据爬取。