[发明专利]一种数据爬取频率的调整方法及装置、存储介质和处理器

说明书

本申请公开了一种数据爬取频率的调整方法及装置、存储介质和处理器。该方法包括：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率，解决了相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题。

技术领域

本申请涉及数据处理领域，具体而言，涉及一种数据爬取频率的调整方法及装置、存储介质和处理器。

背景技术

目前爬虫平台对各个信源的爬取频率是固定的，在录入信源时会设置一个参数——爬取间隔，之后信源每一次爬取都是固定时间间隔。一般来说，信源的爬取间隔都是默认3小时一次，并不会去修改，所以大多数信源都是3小时爬取一次。不管当前信源的质量如何，也不管当前信源产生的数据量多少，每个信源在爬虫平台中的爬取间隔都相等，显然是不合理的。

例如：一个信源是一个网站，网站中的新闻一天才更新一次，若设置的爬取间隔为3小时一次，则会造成大量的资源浪费，让爬虫平台做很多次的无用功；或者说如果一个网站非常活跃，几分钟更新一次内容，那么我们设置的默认3小时爬取一次就有可能造成数据遗漏，因为信源中还有一个最大翻页数的配置，默认为5页，如果这3小时内网站更新超过5页，则会造成数据缺失。针对目前爬虫平台有几十万量级的信源，结合上述说法，当前的爬虫平台会有非常多的资源浪费以及信源抓取的数据缺失。

针对相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据爬取频率的调整方法及装置、存储介质和处理器，以解决相关技术中因为爬虫平台的数据爬取频率固定，对不同信源进行数据抓取时，造成爬虫平台资源浪费的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据爬取频率的调整方法。该方法包括：通过爬虫平台对多个信源以第一爬取频率进行数据爬取；对每个信源根据爬取到的数据量进行排序；基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率。

进一步地，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率包括：确定排序后每个信源所处的位置次序所处的位置范围，其中，所述位置范围是将信源爬取到的数据量排序后得到的位置次序按照预设规则分组后得到的，不同的位置范围对应调整信源的数据爬取的爬取频率不同；基于每个信源所处的位置次序所处的位置范围，调整对每个信源进行数据爬取的爬取频率。

进一步地，通过爬虫平台对多个信源以第一爬取频率进行数据爬取之后，方法还包括：将对每个信源爬取到的数据信息存入数据库平台层；和/或，基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率之前，方法还包括：对每个信源爬取到的数据量进行抽取，将抽取出的数据存入数据库垂直层；计算每个信源在数据库垂直层中存储的数据量与在数据库平台层存储的数据量的比率；若每个信源的比率大于等于预设比率，则执行基于排序后每个信源的位置次序，调整对每个信源进行数据爬取的爬取频率的步骤。

进一步地，若存在比率小于预设比率的目标信源，则判断目标信源是否在预先设置的信源库中；若目标信源在信源库中，则调整对目标信源的爬取频率为第二爬取频率，其中，第二爬取频率小于第一爬取频率；若目标信源不在信源库中，则触发提醒是否需要继续对目标信源进行数据爬取。